1 Domain problem formulation

What is the real-world question? This could be hypothesis-driven or discovery-based.

This should be very high level, providing the big picture behind the study. Often this takes the form of a pre-existing hypothesis (e.g., individuals with a specific genetic mutation are more likely to have a given characteristic) or more open ended discovery (e.g., identify mutations that are related to a given characteristic).


Why is this question interesting and important? What are the implications of better understanding this data?

Try to incentive this study for those coming from a variety of backgrounds and levels of scientific understanding. Perhaps mention how previous, related, work made an impact in the field.


Briefly describe any background information necessary to understand this problem.

This should provide readers some intuition for the scientific problem. This section should be a short, high-level, summary. For additional details, one can refer readers to introductory material, tutorials, and/or review papers.


Briefly describe how this question can be answered in the context of a model or analysis.


Outline the rest of the report/analysis.


2 Data

What is the data under investigation? Provide a brief overview/description of the data.


Describe how your data connects to the domain problem.


2.1 Data Collection

How was the data collected or generated (including details on the experimental design)? Be as transparent as possible so that conclusions made from this data are not misinterpreted down the road.


Describe any limitations when using the data to answer the domain problem of interest.

While the previous section lays out the entire collection process, here it is important to highlight any limitations as these may not be obvious to those from other fields. This includes any personal judgement calls made in the collection process.


Where is the data stored, and how can it be accessed by others (if applicable)?


2.2 Data Splitting

Decide on the proportion of data in each split.

Decide on the “how” to split the data (e.g., random sampling, stratified sampling, etc.), and explain why this is a reasonable way to split the data.

Here we refer to splitting data into training, validation, and test portions. In general, the goal is to fit select models (including any necessary tuning procedures) on the training data, and assess prediction accuracy on the validation data. Test data should only be utilized after all data analysis is completed.

This split can strongly effect results since data often have underlying structure/relationships (e.g., longitudinal information, related individuals, ethnicity, varying hospitals, etc.). If certain characteristics are underrepresented in training, then validation accuracy can deteriorate. Thus, a stratified approach is often recommended.


Split the data into a training, validation, and test set.

data_split <- dataSplit(X = X, y = y, stratified_by = y,
                        train_prop = params$train_prop, 
                        valid_prop = params$valid_prop, 
                        test_prop = params$test_prop)
Xtrain <- data_split$X$train
Xvalid <- data_split$X$validate
Xtest <- data_split$X$test
ytrain <- data_split$y$train
yvalid <- data_split$y$validate
ytest <- data_split$y$test

Provide summary statistics and/or figures of the three data sets to illustrate how similar (or different) they are.

This step is important as it can highlight any concerns with your chosen splitting rule. For instance, under the classification setting, the distribution of categories should be similar across the three data sets.


2.2.1 Data Splitting Overview

X Data Split

plotDataSplit(Xtrain, Xvalid, Xtest, 
              xlab = "X", title = "Overall X Distribution")

Y Data Split

plotDataSplit(ytrain, yvalid, ytest, 
              xlab = "y", title = "Overall y Distribution")

2.3 Data Cleaning and Preprocessing

What steps were taken to clean the data? More importantly, why was the data cleaned in this way?

Data cleaning can be very problem and domain dependent. Be sure to specify which approaches are common in the field (and why). Where appropriate, highlight any steps that were judgement calls necessary to continue the analysis.

Discuss all inconsistencies, problems, oddities in the data (e.g., missing data, errors in data, outliers, etc.).

Record your preprocessing steps in a way such that if someone else were to reproduce your analysis, they could easily replicate and understand your steps.

It can be helpful to include relevant plots that explain/justify the choices that were made when cleaning the data.

If more than one preprocessing pipeline is reasonable, examine the impacts of these alternative preprocessing pipelines on the final data results.

There are often multiple, standard preprocessing options that should be tested to assess stability of results. Any judgement calls mentioned above should also be compared with alternative choices where possible.

Again, be as transparent as possible. This allows others to make their own educated decisions on how best to preprocess the data.


## DO DATA CLEANING / PRE-PROCESSING HERE 
Xtrain <- log(Xtrain + 1) %>%
  removeConstantCols(verbose = 1) %>%
  removeDuplicateCols(verbose = 1) %>%
  filterColsByVar(max_p = 1000)
#> Removed 296 features with constant values
#> Removed 5 features that are duplicated
Xvalid <- log(Xvalid + 1)[, colnames(Xtrain)]
Xtest <- log(Xtest + 1)[, colnames(Xtrain)]

2.4 Data Exploration

The main goal of this section is to give the reader a feel for what the data “looks like” at a basic level.

Provide plots that summarize the data and perhaps even plots that convey some smaller findings which ultimately motivate the main findings.

Provide additional plots representing remaining oddities after pre-processing if applicable.

Add summary statistics in accompanying tables (or in figures) for quick comparisons.


2.4.1 Data Overview

#> Number of features: 1000
#> Number of training samples: 649
#> Number of validaiton samples: 216
#> Number of test samples: 218
# summary of types of features in (X, y) data
dataTypes(X = Xtrain, y = ytrain)

Summary Tables

# broad array of summary statistics for features in training (X, y)
tab_ls <- dataSummary(X = Xtrain, y = ytrain)
for (dtype in names(tab_ls)) {  # grouped by data type
  subchunkify(tab_ls[[dtype]], i = dtype, other_args = "results='asis'")
}

X Distribution

# plot X distribution
plotDataDistribution(data = Xtrain, 
                     xlab = "X", title = "Training X Distribution")

Y Distribution

# plot y distribution
plotDataDistribution(data = ytrain, 
                     xlab = "y", title = "Training y Distribution")

Data Heatmap

# (clustered) heatmap of (X, y) data
plotDataHeatmap(X = Xtrain, y = ytrain, clust_rows = TRUE, clust_cols = TRUE,
                show_ytext = FALSE, x_text_angle = TRUE)

Feature Correlation

# (clustered) correlation heatmap
plotCorHeatmap(X = Xtrain, cor_type = "pearson", clust = TRUE,
               x_text_angle = TRUE) +
  ggplot2::labs(x = "Features", y = "Features", fill = "Cor.")

Feature Pair Plots

# feature pair plot (for a subset of features)
keep_features <- sort(
  sample(1:ncol(Xtrain), min(ncol(Xtrain), 6), replace = FALSE)
)
plotPairs(data = Xtrain, columns = keep_features, 
          color = ytrain, color_label = "y")

Marginal Associations

# marginal association plots (for a subset of features)
caret::featurePlot(x = Xtrain[, keep_features],
                   y = ytrain,
                   plot = if (is.factor(ytrain)) "box" else "scatter",
                   scales = list(x = list(relation = "free"), 
                                 y = list(relation = "free")))

PCA

# pca plot
plotPCA(X = Xtrain, npcs = 3, color = ytrain, color_label = "y",
        center = TRUE, scale = FALSE)$plot

3 Prediction Modeling

Discuss the prediction methods under consideration, and explain why these methods were chosen.

There are an overwhelming number of methods available, but at least one should be a common approach acting as a baseline. This may not be optimal for the problem setting, but serves as a helpful comparison. Any “go-to” methods in this scientific domain should be considered. Discuss why these are favored, for instance, is there a natural structure in the data that is better utilized in one approach vs another? Conversely, mention if there are approaches typically avoided in these problems. The limitations discussed previously can also help guide these decisions given some procedures will be better equipped to handle these compared to others.

Think back to the big picture, if interpretability is important, methods favoring sparser, simpler models may be preferred (e.g., sparse regression or tree-based procedures). If prediction is the sole goal, more complex models may be appropriate.

If computing time is a burden, and rules out methods with high potential, this should be highlighted for future reference as scalability and/or computing resources improve.


Discuss the accuracy metrics under consideration, and explain why these metrics were chosen.

These accuracy metrics should clearly support the main goal of the study. There are often multiple ways to quantify accuracy, and different measurements may have been used in previous studies, thus comparing across several provides an additional stability metric.


3.1 Prediction check

Carry out the prediction pipeline, outlined above.

  1. Fit prediction methods on training data.

Recall, this includes any parameter tuning which may require further data splitting (e.g., k-fold cross-validation) within the training data.

  1. Evaluate prediction methods on validation data.
  2. Compare results, and filter out poor models.


## IF USING TIDYMODELS BACKEND, CHOOSE METHODS AND TRAINING CONTROLS HERE
cv_options <- list(nfolds = 5,
                   foldids = NULL,
                   metric = "accuracy")

model_list <- list(
  rand_forest = list(.tune_params = list(mtry = round(seq(sqrt(ncol(Xtrain)),
                                                          ncol(Xtrain) / 3,
                                                          length.out = 3))),
                     engine = list(engine = "ranger",
                                   importance = "impurity")),
  boost_tree = list(engine = "xgboost")
)
# fit/train models
fit_results <- fitModels(Xtrain = Xtrain, ytrain = ytrain,
                         model_list = model_list, cv_options = cv_options,
                         use = params$modeling_pkg)
#> [15:51:01] WARNING: amalgamation/../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'multi:softprob' was changed from 'merror' to 'mlogloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

# make prediction on validation set
pred_results <- predictModels(fit_list = fit_results, Xtest = Xvalid)

# evaluate predictions on validation set
eval_results <- evaluateModels(pred_df = pred_results, ytest = yvalid)

# collect feature importance metrics from model fits
imp_results <- interpretModels(fit_list = fit_results)

Fit Summary

rand_forest

#> Fitting time taken: 2.49591248432795 min
#> 
#> =====================================================
#> ================ Tuned Model Summary ================
#> =====================================================
#> 
#> ══ Workflow [trained] ══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════
#> Preprocessor: Formula
#> Model: rand_forest()
#> 
#> ── Preprocessor ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> .y ~ .
#> 
#> ── Model ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> Ranger result
#> 
#> Call:
#>  ranger::ranger(x = maybe_data_frame(x), y = y, mtry = min_cols(~182,      x), importance = ~"impurity", num.threads = 1, verbose = FALSE,      seed = sample.int(10^5, 1), probability = TRUE) 
#> 
#> Type:                             Probability estimation 
#> Number of trees:                  500 
#> Sample size:                      649 
#> Number of independent variables:  1000 
#> Mtry:                             182 
#> Target node size:                 10 
#> Variable importance mode:         impurity 
#> Splitrule:                        gini 
#> OOB prediction error (Brier s.):  0.1597182 
#> 
#> 
#> ======================================================
#> ==== Summary of CV Fit for Tuning Hyperparameters ====
#> ======================================================
#> 
#> # Tuning results
#> # 5-fold cross-validation 
#> # A tibble: 5 × 4
#>   splits            id    .metrics         .notes          
#>   <list>            <chr> <list>           <list>          
#> 1 <split [519/130]> Fold1 <tibble [6 × 5]> <tibble [0 × 1]>
#> 2 <split [519/130]> Fold2 <tibble [6 × 5]> <tibble [0 × 1]>
#> 3 <split [519/130]> Fold3 <tibble [6 × 5]> <tibble [0 × 1]>
#> 4 <split [519/130]> Fold4 <tibble [6 × 5]> <tibble [0 × 1]>
#> 5 <split [520/129]> Fold5 <tibble [6 × 5]> <tibble [0 × 1]>
#> 
#> # Metrics Summary
#> # A tibble: 6 × 9
#>    mtry .metric   Mean      SD Fold1 Fold2 Fold3 Fold4 Fold5
#>   <dbl> <chr>    <dbl>   <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
#> 1    32 accuracy 0.815 0.0343  0.823 0.808 0.854 0.762 0.829
#> 2   182 accuracy 0.823 0.0455  0.769 0.823 0.892 0.8   0.829
#> 3   333 accuracy 0.823 0.0380  0.792 0.815 0.885 0.792 0.829
#> 4    32 roc_auc  0.959 0.00477 0.957 0.966 0.959 0.960 0.953
#> 5   182 roc_auc  0.962 0.00688 0.956 0.969 0.964 0.967 0.953
#> 6   333 roc_auc  0.958 0.00851 0.945 0.967 0.961 0.962 0.954

boost_tree

#> Fitting time taken: 0.108304099241892 min
#> 
#> =====================================================
#> =================== Model Summary ===================
#> =====================================================
#> 
#> ══ Workflow [trained] ══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════
#> Preprocessor: Formula
#> Model: boost_tree()
#> 
#> ── Preprocessor ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> .y ~ .
#> 
#> ── Model ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> ##### xgb.Booster
#> raw: 137.4 Kb 
#> call:
#>   xgboost::xgb.train(params = list(eta = 0.3, max_depth = 6, gamma = 0, 
#>     colsample_bytree = 1, colsample_bynode = 1, min_child_weight = 1, 
#>     subsample = 1, objective = "multi:softprob"), data = x$data, 
#>     nrounds = 15, watchlist = x$watchlist, verbose = 0, num_class = 5L, 
#>     nthread = 1)
#> params (as set within xgb.train):
#>   eta = "0.3", max_depth = "6", gamma = "0", colsample_bytree = "1", colsample_bynode = "1", min_child_weight = "1", subsample = "1", objective = "multi:softprob", num_class = "5", nthread = "1", validate_parameters = "TRUE"
#> xgb.attributes:
#>   niter
#> callbacks:
#>   cb.evaluation.log()
#> # of features: 1000 
#> niter: 15
#> nfeatures : 1000 
#> evaluation_log:
#>     iter training_mlogloss
#>        1          1.046141
#>        2          0.749682
#> ---                       
#>       14          0.045483
#>       15          0.038782

Prediction Results

Confusion Tables

boost_tree Confusion Matrix on Validation Set
Truth
Prediction Basal Her2 LumA LumB Normal
Basal 37 0 0 0 3
Her2 1 14 2 0 3
LumA 0 1 108 14 0
LumB 0 1 1 28 0
Normal 0 0 1 0 2
rand_forest Confusion Matrix on Validation Set
Truth
Prediction Basal Her2 LumA LumB Normal
Basal 38 0 0 0 3
Her2 0 13 1 0 1
LumA 0 1 109 16 2
LumB 0 2 2 26 0
Normal 0 0 0 0 2

ROC Plot

PR Plot

3.2 Stability check

Taking the prediction methods that pass the prediction check, perform stability analysis.

This stability analysis assesses changes in validation accuracy based on small perturbations in the training data. The “perturbed data sets” mentioned below refer to the training data only, validation and test sets remain the same.

  1. Specify and justify the appropriate data perturbation(s).

As when determining an appropriate splitting rule, the perturbation scheme should incorporate any known data structure. For instance, if using a bootstrap approach (i.e., the data are re-sampled with replacement), stratified sampling may be more appropriate to avoid unbalanced groups.

  1. Re-fit the prediction methods on these perturbed data sets.
  2. Evaluate prediction methods on validation data.
  3. Assess stability across the data perturbations as well as across the various methods.
  4. Filter out poor models where necessary and interpret stability results.

Methods with highly variable accuracy should be discarded. In addition, take note if any set of perturbations resulted in uniformly poor accuracy across methods. This could indicate an underlying issue with the perturbation approach.


n_reps <- params$n_data_perturbations

# p <- progressr::progressor(steps = n_reps)
# future::plan(multisession, workers = min(n_reps, parallel::detectCores() - 1))
bootstrap_model_results <- future.apply::future_replicate(
  n = n_reps,
  expr = {
    bootstrap <- sample(1:nrow(Xtrain), nrow(Xtrain), replace = TRUE)
    Xtrain_b <- Xtrain[bootstrap, ]
    ytrain_b <- ytrain[bootstrap]
    
    # fit/train models on bootstrap data
    fit_results_b <- fitModels(Xtrain = Xtrain_b, ytrain = ytrain_b,
                               model_list = model_list, cv_options = cv_options,
                               use = params$modeling_pkg)

    # make prediction on validation set
    pred_results_b <- predictModels(fit_list = fit_results_b, Xtest = Xvalid)

    # evaluate predictions on validation set
    eval_results_b <- evaluateModels(pred_df = pred_results_b, ytest = yvalid)
    
    # collect feature importance metrics from model fits
    imp_results_b <- interpretModels(fit_list = fit_results_b)
    
    return(list(# fit = fit_results_b,  # uncomment if need bootstrap fits; can be memory intensive
                predictions = pred_results_b,
                eval_metrics = eval_results_b,
                importances = imp_results_b))
  },
  simplify = FALSE
)
#> [15:53:12] WARNING: amalgamation/../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'multi:softprob' was changed from 'merror' to 'mlogloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
#> [15:55:16] WARNING: amalgamation/../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'multi:softprob' was changed from 'merror' to 'mlogloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

bootstrap_model_errs <- purrr::map_dfr(bootstrap_model_results,
                                       ~.x$eval_metrics$metrics,
                                       .id = "bootstrap_id")
bootstrap_model_preds <- purrr::map(bootstrap_model_results, "predictions")
bootstrap_model_imps <- purrr::map_dfr(bootstrap_model_results, "importances",
                                       .id = "bootstrap_id")

# summarize bootstrap model error metrics
bootstrap_model_errs_summary <- bootstrap_model_errs %>%
  tidyr::pivot_longer(cols = c(-bootstrap_id, -Metric), 
                      names_to = "Method", values_to = "Value") %>%
  dplyr::group_by(Method, Metric) %>%
  dplyr::summarise(Mean = mean(Value), SD = sd(Value), .groups = "drop") %>%
  tidyr::pivot_longer(cols = c(Mean, SD), 
                      values_to = "Value", names_to = "Statistic") %>%
  tidyr::pivot_wider(names_from = "Method", values_from = "Value") %>%
  dplyr::arrange(Metric, Statistic)

Table

# table of accuracy metrics
prettyTable(
  bootstrap_model_errs_summary, 
  digits = 2, sigfig = FALSE, rownames = FALSE,
  caption = "Validation Prediction Accuracies Over Bootstrapped Training Fits", 
  html_options = list(
    extensions = "RowGroup",
    options = list(
      dom = "t",
      pageLength = nrow(bootstrap_model_errs_summary),
      scrollY = "500px",
      rowGroup = list(dataSrc = 0),
      columnDefs = list(list(className = "dt-center", targets = "_all"),
                        list(visible = FALSE, targets = 0),
                        list(title = "Metric", targets = 1))
    )
  )
)

Plot

# boxplots
bootstrap_model_errs %>%
  tidyr::pivot_longer(cols = c(-bootstrap_id, -Metric), 
                      names_to = "Method", values_to = "Value") %>%
  plotBoxplot(x_str = "Method", y_str = "Value") +
  ggplot2::facet_wrap(~ Metric) +
  ggplot2::labs(title = "Validation Prediction Accuracies Over Bootstrapped Training Fits")

3.3 Interpretability

For the models that pass the prediction and stability checks, extract the important features in the predictive models that are stable across both data and model perturbations. Determining the importance of a feature can be method dependent.


Full Model (without stability)

Table

prettyTable(imp_results, digits = 2, sigfig = FALSE,
            caption = "Variable Importances")

Plots

plotFeatureImportance(imp_results,
                      use_rankings = FALSE,
                      use_facets = TRUE,
                      interactive = FALSE)

plotFeatureImportancePair(imp_results,
                          use_rankings = TRUE,
                          interactive = FALSE)

Bootstrapped Model (with stability)

Table

bootstrap_model_imps_summary <- bootstrap_model_imps %>%
  dplyr::group_by(Method, Variable) %>%
  dplyr::summarise(`Mean Importance` = mean(Importance),
                   `Median Importance` = median(Importance),
                   `SD Importance` = sd(Importance),
                   `Min Importance` = min(Importance),
                   `Max Importance` = max(Importance), 
                   .groups = "keep")
prettyTable(
  bootstrap_model_imps_summary, 
  digits = 2, sigfig = F, 
  caption = "Summary of variable importances across bootstrapped models"
)

Plots

plotFeatureImportanceStability(bootstrap_model_imps,
                               use_rankings = FALSE,
                               use_facets = TRUE,
                               interactive = FALSE)

4 Main Results

Interpret and summarize the prediction and stability results.


Evaluate pipeline on test data.

Careful! Remember that test data should only be touched once. These results should not be used to make post-analysis modeling decisions. This is “double-dipping” and not an accurate measurement of out-of-sample accuracy.

Xtrain_final <- dplyr::bind_rows(Xtrain, Xvalid)
ytrain_final <- c(ytrain, yvalid)

# fit/train models
fit_results_final <- fitModels(Xtrain = Xtrain_final, ytrain = ytrain_final,
                               model_list = model_list, cv_options = cv_options,
                               use = params$modeling_pkg)
#> [15:59:57] WARNING: amalgamation/../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'multi:softprob' was changed from 'merror' to 'mlogloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

# make prediction on test set
pred_results_final <- predictModels(fit_list = fit_results_final, Xtest = Xtest)

# evaluate predictions on test set
eval_results_final <- evaluateModels(pred_df = pred_results_final, ytest = ytest)

# collect feature importance metrics from model fits
imp_results_final <- interpretModels(fit_list = fit_results_final)

Summarize test set prediction and/or interpretability results.


Fit Summary

rand_forest

#> Fitting time taken: 4.44882703224818 min
#> 
#> =====================================================
#> ================ Tuned Model Summary ================
#> =====================================================
#> 
#> ══ Workflow [trained] ══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════
#> Preprocessor: Formula
#> Model: rand_forest()
#> 
#> ── Preprocessor ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> .y ~ .
#> 
#> ── Model ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> Ranger result
#> 
#> Call:
#>  ranger::ranger(x = maybe_data_frame(x), y = y, mtry = min_cols(~333,      x), importance = ~"impurity", num.threads = 1, verbose = FALSE,      seed = sample.int(10^5, 1), probability = TRUE) 
#> 
#> Type:                             Probability estimation 
#> Number of trees:                  500 
#> Sample size:                      865 
#> Number of independent variables:  1000 
#> Mtry:                             333 
#> Target node size:                 10 
#> Variable importance mode:         impurity 
#> Splitrule:                        gini 
#> OOB prediction error (Brier s.):  0.1390541 
#> 
#> 
#> ======================================================
#> ==== Summary of CV Fit for Tuning Hyperparameters ====
#> ======================================================
#> 
#> # Tuning results
#> # 5-fold cross-validation 
#> # A tibble: 5 × 4
#>   splits            id    .metrics         .notes          
#>   <list>            <chr> <list>           <list>          
#> 1 <split [692/173]> Fold1 <tibble [6 × 5]> <tibble [0 × 1]>
#> 2 <split [692/173]> Fold2 <tibble [6 × 5]> <tibble [0 × 1]>
#> 3 <split [692/173]> Fold3 <tibble [6 × 5]> <tibble [0 × 1]>
#> 4 <split [692/173]> Fold4 <tibble [6 × 5]> <tibble [0 × 1]>
#> 5 <split [692/173]> Fold5 <tibble [6 × 5]> <tibble [0 × 1]>
#> 
#> # Metrics Summary
#> # A tibble: 6 × 9
#>    mtry .metric   Mean     SD Fold1 Fold2 Fold3 Fold4 Fold5
#>   <dbl> <chr>    <dbl>  <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
#> 1    32 accuracy 0.827 0.0142 0.832 0.815 0.809 0.844 0.832
#> 2   182 accuracy 0.846 0.0113 0.850 0.838 0.850 0.861 0.832
#> 3   333 accuracy 0.847 0.0176 0.850 0.832 0.867 0.861 0.827
#> 4    32 roc_auc  0.967 0.0126 0.969 0.978 0.979 0.953 0.954
#> 5   182 roc_auc  0.969 0.0151 0.975 0.982 0.981 0.951 0.953
#> 6   333 roc_auc  0.967 0.0169 0.973 0.981 0.982 0.946 0.951

boost_tree

#> Fitting time taken: 0.143404531478882 min
#> 
#> =====================================================
#> =================== Model Summary ===================
#> =====================================================
#> 
#> ══ Workflow [trained] ══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════
#> Preprocessor: Formula
#> Model: boost_tree()
#> 
#> ── Preprocessor ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> .y ~ .
#> 
#> ── Model ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
#> ##### xgb.Booster
#> raw: 155.1 Kb 
#> call:
#>   xgboost::xgb.train(params = list(eta = 0.3, max_depth = 6, gamma = 0, 
#>     colsample_bytree = 1, colsample_bynode = 1, min_child_weight = 1, 
#>     subsample = 1, objective = "multi:softprob"), data = x$data, 
#>     nrounds = 15, watchlist = x$watchlist, verbose = 0, num_class = 5L, 
#>     nthread = 1)
#> params (as set within xgb.train):
#>   eta = "0.3", max_depth = "6", gamma = "0", colsample_bytree = "1", colsample_bynode = "1", min_child_weight = "1", subsample = "1", objective = "multi:softprob", num_class = "5", nthread = "1", validate_parameters = "TRUE"
#> xgb.attributes:
#>   niter
#> callbacks:
#>   cb.evaluation.log()
#> # of features: 1000 
#> niter: 15
#> nfeatures : 1000 
#> evaluation_log:
#>     iter training_mlogloss
#>        1          1.050810
#>        2          0.747666
#> ---                       
#>       14          0.045500
#>       15          0.038370

Prediction Results

Confusion Tables

boost_tree Confusion Matrix on Test Set
Truth
Prediction Basal Her2 LumA LumB Normal
Basal 37 1 0 1 2
Her2 1 13 0 1 1
LumA 0 1 110 17 4
LumB 0 2 3 23 0
Normal 0 0 0 0 1
rand_forest Confusion Matrix on Test Set
Truth
Prediction Basal Her2 LumA LumB Normal
Basal 37 1 0 0 2
Her2 1 13 0 0 1
LumA 0 1 110 15 4
LumB 0 2 3 27 0
Normal 0 0 0 0 1

ROC Plot

PR Plot

5 Post hoc analysis

Move beyond the global prediction accuracy metrics and dive deeper into individual-level predictions for the validation and/or test set, i.e., provide a more “local” analysis.

  • Examine any points that had poor predictions.

As mentioned in the stability analysis, check for any commonalities among perturbations, or specific observations, that resulted in poor accuracy metrics across procedures.

  • Examine differences between prediction methods.

Are there certain methods that may not be overall the most accurate, but outperform others on the more “challenging” validation/test observations? Conversely, are some procedures very effective across the majority of observations, but some outlying behavior effects overall results?


pred_results_final %>%
  dplyr::mutate(.id = rep(1:nrow(Xtest), length.out = dplyr::n())) %>%
  tidyr::pivot_wider(id_cols = .id, 
                     names_from = "Method", values_from = "predictions") %>%
  dplyr::mutate(`True Responses` = ytest) %>%
  plotPairs(columns = 2:(length(unique(pred_results_final$Method)) + 2),
            title = "Comparison of model test predictions")

6 Conclusions

Reiterate main findings, note any caveats, and clearly translate findings/analysis back to the domain problem context.


LS0tCnRpdGxlOiAiUENTIERvY3VtZW50YXRpb24iCmF1dGhvcjogIiIKZGF0ZTogImByIGZvcm1hdChTeXMudGltZSgpLCAnJUIgJWQsICVZJylgIgpoZWFkZXItaW5jbHVkZXM6CiAgICAtIFx1c2VwYWNrYWdle2Zsb2F0fQogICAgLSBcdXNlcGFja2FnZXthbXNtYXRofQogICAgLSBcdXNlcGFja2FnZXtnZW5zeW1ifQogICAgLSBcdXNlcGFja2FnZXt0Y29sb3Jib3h9Cm91dHB1dDoKICB2ZG9jczo6dmVyaWRpY2FsOgogICAgbGFiX25vdGVib29rOiB0cnVlCiAgICBudW1iZXJfc2VjdGlvbnM6IHRydWUKICBwZGZfZG9jdW1lbnQ6CiAgICBudW1iZXJfc2VjdGlvbnM6IHRydWUKcGFyYW1zOgogICMjIElOUFVUIFBBUkFNRVRFUlMgSEVSRSBPUiBVU0lORyAiS25pdCB3aXRoIFBhcmFtZXRlcnMuLi4iIElOIEFCT1ZFIEtOSVQgTUVOVQogIFhfZmlsZXBhdGg6CiAgICBsYWJlbDogIlggRGF0YSIKICAgICMgc3BlY2lmeSBmaWxlIHBhdGggZm9yIFggZGF0YQogICAgdmFsdWU6IGRhdGEvdGNnYV9icmNhX2FycmF5X2RhdGEucmRzICAKICAgIGlucHV0OiBmaWxlIAogIHlfZmlsZXBhdGg6CiAgICBsYWJlbDogInkgZGF0YSIKICAgICMgc3BlY2lmeSBmaWxlIHBhdGggZm9yIHkgZGF0YQogICAgdmFsdWU6IGRhdGEvdGNnYV9icmNhX3N1YnR5cGVzLnJkcwogICAgaW5wdXQ6IGZpbGUKICB0cmFpbl9wcm9wOgogICAgbGFiZWw6ICJUcmFpbmluZyBkYXRhIHByb3BvcnRpb24iCiAgICAjIHNwZWNpZnkgcHJvcG9ydGlvbiBvZiBkYXRhIHRvIHB1dCBpbiB0cmFpbmluZyBzZXQKICAgIHZhbHVlOiAwLjYgIAogICAgaW5wdXQ6IG51bWVyaWMKICB2YWxpZF9wcm9wOgogICAgbGFiZWw6ICJWYWxpZGF0aW9uIGRhdGEgcHJvcG9ydGlvbiIKICAgICMgc3BlY2lmeSBwcm9wb3J0aW9uIG9mIGRhdGEgdG8gcHV0IGluIHZhbGlkYXRpb24gc2V0CiAgICB2YWx1ZTogMC4yICAKICAgIGlucHV0OiBudW1lcmljCiAgdGVzdF9wcm9wOgogICAgbGFiZWw6ICJUZXN0IGRhdGEgcHJvcG9ydGlvbiIKICAgICMgc3BlY2lmeSBwcm9wb3J0aW9uIG9mIGRhdGEgdG8gcHV0IGluIHRlc3Qgc2V0CiAgICB2YWx1ZTogMC4yICAKICAgIGlucHV0OiBudW1lcmljCiAgbW9kZWxpbmdfcGtnOgogICAgbGFiZWw6ICJNb2RlbGluZyBQYWNrYWdlIgogICAgIyBzcGVjaWZ5IHdoaWNoIG1vZGVsaW5nIHBhY2thZ2UgdG8gdXNlCiAgICB2YWx1ZTogInRpZHltb2RlbHMiICAKICAgIGlucHV0OiBzZWxlY3QKICAgIGNob2ljZXM6IFsiY2FyZXQiLCAiaDJvIiwgInRpZHltb2RlbHMiXQogIG5fZGF0YV9wZXJ0dXJiYXRpb25zOgogICAgbGFiZWw6ICJOdW1iZXIgb2YgZGF0YSBwZXJ0dXJiYXRpb25zIChlLmcuLCBib290c3RyYXAgc2FtcGxlcykiCiAgICAjIHNwZWNpZnkgbnVtYmVyIG9mIGRhdGEgcGVydHVyYmF0aW9uczsgbm90ZTogaW5jcmVhc2UgZm9yIGJldHRlciBtZWFzdXJlIAogICAgIyBvZiBzdGFiaWxpdHksIGJ1dCBhdCB0aGUgY29zdCBvZiBoaWdoZXIgY29tcHV0YXRpb25hbCBsb2FkCiAgICB2YWx1ZTogMiAgCiAgICBpbnB1dDogbnVtZXJpYwogIHNlZWQ6CiAgICBsYWJlbDogIlJhbmRvbSBTZWVkIgogICAgIyBzcGVjaWZ5IHJhbmRvbSBzZWVkCiAgICB2YWx1ZTogMTIzNDUKICAgIGlucHV0OiBudW1lcmljCi0tLQoKPCEtLSBJTlNUUlVDVElPTlM6IFRoaXMgUm1hcmtkb3duIGZhY2lsaXRhdGVzIGJlYXV0aWZ1bCBkb2N1bWVudGF0aW9uIGZvciBQQ1Mtc3R5bGUgYW5hbHlzZXMuIEFmdGVyIGlucHV0dGluZyBpbiB0aGUgcmVxdWlyZWQgZGF0YSBhbmQgcGFyYW1ldGVycyBhYm92ZSwgcGxlYXNlIGdvIHRocm91Z2ggYW5kIHByb3ZpZGUgcmVzcG9uc2VzIHRvIGFsbCBxdWVzdGlvbnMgaW4gdGhlIG5vdGVib29rIGJlbG93LiBSZXNwb25zZXMgc2hvdWxkIGJlIHR5cGVkIGluIGFsbCBjaHVua3Mgd2l0aCB0aGUgaGVhZGVyIGBpbnRlcmFjdGl2ZV90ZXh0ID0gVFJVRWAuIC0tPgoKYGBge3Igc2V0dXAsIGVjaG8gPSBGQUxTRSwgbWVzc2FnZSA9IEZBTFNFLCB3YXJuaW5nID0gRkFMU0UsIHJlc3VsdHMgPSAiaGlkZSJ9CmxpYnJhcnkodmRvY3MpCgojIHNldCB1cCBrbml0ciBvcHRpb25zIGZvciB2ZG9jcwp2ZG9jc19rbml0cl9zZXR1cCgpCgojIHNldCBzZWVkCnNldC5zZWVkKHBhcmFtcyRzZWVkKQoKIyB2YWxpZGF0ZSBpbnB1dHMKdmFsaWRhdGVEYXRhU3BsaXQocGFyYW1zJHRyYWluX3Byb3AsIHBhcmFtcyR2YWxpZF9wcm9wLCBwYXJhbXMkdGVzdF9wcm9wKQoKIyBsb2FkIGRhdGEgaW4KWCA8LSBsb2FkRmlsZShwYXJhbXMkWF9maWxlcGF0aCkKeSA8LSBsb2FkRmlsZShwYXJhbXMkeV9maWxlcGF0aCkKdmFsaWRhdGVEYXRhKFgsIHkpCmBgYAoKYGBge3IgbG9hZC1zYXZlZC1yZXNwb25zZXMsIGV2YWwgPSBrbml0cjo6aXNfaHRtbF9vdXRwdXQoKSwgZWNobyA9IEZBTFNFLCByZXN1bHRzID0gImFzaXMiLCBjYWNoZSA9IEZBTFNFfQpsb2FkX3NhdmVkX3Jlc3BvbnNlcygpCmBgYAoKIyBEb21haW4gcHJvYmxlbSBmb3JtdWxhdGlvbgoKV2hhdCBpcyB0aGUgcmVhbC13b3JsZCBxdWVzdGlvbj8gVGhpcyBjb3VsZCBiZSBoeXBvdGhlc2lzLWRyaXZlbiBvciBkaXNjb3ZlcnktYmFzZWQuCgpgYGB7YXNpcywgaGVscCA9IFRSVUV9ClRoaXMgc2hvdWxkIGJlIHZlcnkgaGlnaCBsZXZlbCwgcHJvdmlkaW5nIHRoZSBiaWcgcGljdHVyZSBiZWhpbmQgdGhlIHN0dWR5LiBPZnRlbiB0aGlzIHRha2VzIHRoZSBmb3JtIG9mIGEgcHJlLWV4aXN0aW5nIGh5cG90aGVzaXMgKGUuZy4sIGluZGl2aWR1YWxzIHdpdGggYSBzcGVjaWZpYyBnZW5ldGljIG11dGF0aW9uIGFyZSBtb3JlIGxpa2VseSB0byBoYXZlIGEgZ2l2ZW4gY2hhcmFjdGVyaXN0aWMpIG9yIG1vcmUgb3BlbiBlbmRlZCBkaXNjb3ZlcnkgKGUuZy4sIGlkZW50aWZ5IG11dGF0aW9ucyB0aGF0IGFyZSByZWxhdGVkIHRvIGEgZ2l2ZW4gY2hhcmFjdGVyaXN0aWMpLgpgYGAKCmBgYHthc2lzLCBpbnRlcmFjdGl2ZV90ZXh0ID0gVFJVRX0KCmBgYAoKV2h5IGlzIHRoaXMgcXVlc3Rpb24gaW50ZXJlc3RpbmcgYW5kIGltcG9ydGFudD8gV2hhdCBhcmUgdGhlIGltcGxpY2F0aW9ucyBvZiBiZXR0ZXIgdW5kZXJzdGFuZGluZyB0aGlzIGRhdGE/CgpgYGB7YXNpcywgaGVscCA9IFRSVUV9ClRyeSB0byBpbmNlbnRpdmUgdGhpcyBzdHVkeSBmb3IgdGhvc2UgY29taW5nIGZyb20gYSB2YXJpZXR5IG9mIGJhY2tncm91bmRzIGFuZCBsZXZlbHMgb2Ygc2NpZW50aWZpYyB1bmRlcnN0YW5kaW5nLiBQZXJoYXBzIG1lbnRpb24gaG93IHByZXZpb3VzLCByZWxhdGVkLCB3b3JrIG1hZGUgYW4gaW1wYWN0IGluIHRoZSBmaWVsZC4KYGBgCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCkJyaWVmbHkgZGVzY3JpYmUgYW55IGJhY2tncm91bmQgaW5mb3JtYXRpb24gbmVjZXNzYXJ5IHRvIHVuZGVyc3RhbmQgdGhpcyBwcm9ibGVtLgoKYGBge2FzaXMsIGhlbHAgPSBUUlVFfQpUaGlzIHNob3VsZCBwcm92aWRlIHJlYWRlcnMgc29tZSBpbnR1aXRpb24gZm9yIHRoZSBzY2llbnRpZmljIHByb2JsZW0uIFRoaXMgc2VjdGlvbiBzaG91bGQgYmUgYSBzaG9ydCwgaGlnaC1sZXZlbCwgc3VtbWFyeS4gRm9yIGFkZGl0aW9uYWwgZGV0YWlscywgb25lIGNhbiByZWZlciByZWFkZXJzIHRvIGludHJvZHVjdG9yeSBtYXRlcmlhbCwgdHV0b3JpYWxzLCBhbmQvb3IgcmV2aWV3IHBhcGVycy4KYGBgCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCkJyaWVmbHkgZGVzY3JpYmUgaG93IHRoaXMgcXVlc3Rpb24gY2FuIGJlIGFuc3dlcmVkIGluIHRoZSBjb250ZXh0IG9mIGEgbW9kZWwgb3IgYW5hbHlzaXMuCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCk91dGxpbmUgdGhlIHJlc3Qgb2YgdGhlIHJlcG9ydC9hbmFseXNpcy4KCmBgYHthc2lzLCBpbnRlcmFjdGl2ZV90ZXh0ID0gVFJVRX0KCmBgYAoKIyBEYXRhCgpXaGF0IGlzIHRoZSBkYXRhIHVuZGVyIGludmVzdGlnYXRpb24/IFByb3ZpZGUgYSBicmllZiBvdmVydmlldy9kZXNjcmlwdGlvbiBvZiB0aGUgZGF0YS4KCmBgYHthc2lzLCBpbnRlcmFjdGl2ZV90ZXh0ID0gVFJVRX0KCmBgYAoKRGVzY3JpYmUgaG93IHlvdXIgZGF0YSBjb25uZWN0cyB0byB0aGUgZG9tYWluIHByb2JsZW0uCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCiMjIERhdGEgQ29sbGVjdGlvbgoKSG93IHdhcyB0aGUgZGF0YSBjb2xsZWN0ZWQgb3IgZ2VuZXJhdGVkIChpbmNsdWRpbmcgZGV0YWlscyBvbiB0aGUgZXhwZXJpbWVudGFsIGRlc2lnbik/IEJlIGFzIHRyYW5zcGFyZW50IGFzIHBvc3NpYmxlIHNvIHRoYXQgY29uY2x1c2lvbnMgbWFkZSBmcm9tIHRoaXMgZGF0YSBhcmUgbm90IG1pc2ludGVycHJldGVkIGRvd24gdGhlIHJvYWQuCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCkRlc2NyaWJlIGFueSBsaW1pdGF0aW9ucyB3aGVuIHVzaW5nIHRoZSBkYXRhIHRvIGFuc3dlciB0aGUgZG9tYWluIHByb2JsZW0gb2YgaW50ZXJlc3QuCgpgYGB7YXNpcywgaGVscCA9IFRSVUV9CldoaWxlIHRoZSBwcmV2aW91cyBzZWN0aW9uIGxheXMgb3V0IHRoZSBlbnRpcmUgY29sbGVjdGlvbiBwcm9jZXNzLCBoZXJlIGl0IGlzIGltcG9ydGFudCB0byBoaWdobGlnaHQgYW55IGxpbWl0YXRpb25zIGFzIHRoZXNlIG1heSBub3QgYmUgb2J2aW91cyB0byB0aG9zZSBmcm9tIG90aGVyIGZpZWxkcy4gVGhpcyBpbmNsdWRlcyBhbnkgcGVyc29uYWwganVkZ2VtZW50IGNhbGxzIG1hZGUgaW4gdGhlIGNvbGxlY3Rpb24gcHJvY2Vzcy4KYGBgCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCldoZXJlIGlzIHRoZSBkYXRhIHN0b3JlZCwgYW5kIGhvdyBjYW4gaXQgYmUgYWNjZXNzZWQgYnkgb3RoZXJzIChpZiBhcHBsaWNhYmxlKT8KCmBgYHthc2lzLCBpbnRlcmFjdGl2ZV90ZXh0ID0gVFJVRX0KCmBgYAoKIyMgRGF0YSBTcGxpdHRpbmcKCkRlY2lkZSBvbiB0aGUgcHJvcG9ydGlvbiBvZiBkYXRhIGluIGVhY2ggc3BsaXQuCgpEZWNpZGUgb24gdGhlICJob3ciIHRvIHNwbGl0IHRoZSBkYXRhIChlLmcuLCByYW5kb20gc2FtcGxpbmcsIHN0cmF0aWZpZWQgc2FtcGxpbmcsIGV0Yy4pLCBhbmQgZXhwbGFpbiB3aHkgdGhpcyBpcyBhIHJlYXNvbmFibGUgd2F5IHRvIHNwbGl0IHRoZSBkYXRhLgoKYGBge2FzaXMsIGhlbHAgPSBUUlVFfQpIZXJlIHdlIHJlZmVyIHRvIHNwbGl0dGluZyBkYXRhIGludG8gdHJhaW5pbmcsIHZhbGlkYXRpb24sIGFuZCB0ZXN0IHBvcnRpb25zLiBJbiBnZW5lcmFsLCB0aGUgZ29hbCBpcyB0byBmaXQgc2VsZWN0IG1vZGVscyAoaW5jbHVkaW5nIGFueSBuZWNlc3NhcnkgdHVuaW5nIHByb2NlZHVyZXMpIG9uIHRoZSB0cmFpbmluZyBkYXRhLCBhbmQgYXNzZXNzIHByZWRpY3Rpb24gYWNjdXJhY3kgb24gdGhlIHZhbGlkYXRpb24gZGF0YS4gKipUZXN0IGRhdGEgc2hvdWxkIG9ubHkgYmUgdXRpbGl6ZWQgYWZ0ZXIgYWxsIGRhdGEgYW5hbHlzaXMgaXMgY29tcGxldGVkLioqCgpUaGlzIHNwbGl0IGNhbiBzdHJvbmdseSBlZmZlY3QgcmVzdWx0cyBzaW5jZSBkYXRhIG9mdGVuIGhhdmUgdW5kZXJseWluZyBzdHJ1Y3R1cmUvcmVsYXRpb25zaGlwcyAoZS5nLiwgbG9uZ2l0dWRpbmFsIGluZm9ybWF0aW9uLCByZWxhdGVkIGluZGl2aWR1YWxzLCBldGhuaWNpdHksIHZhcnlpbmcgaG9zcGl0YWxzLCBldGMuKS4gSWYgY2VydGFpbiBjaGFyYWN0ZXJpc3RpY3MgYXJlIHVuZGVycmVwcmVzZW50ZWQgaW4gdHJhaW5pbmcsIHRoZW4gdmFsaWRhdGlvbiBhY2N1cmFjeSBjYW4gZGV0ZXJpb3JhdGUuIFRodXMsIGEgc3RyYXRpZmllZCBhcHByb2FjaCBpcyBvZnRlbiByZWNvbW1lbmRlZC4KYGBgCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKClNwbGl0IHRoZSBkYXRhIGludG8gYSB0cmFpbmluZywgdmFsaWRhdGlvbiwgYW5kIHRlc3Qgc2V0LgoKYGBge3Igc3BsaXQtZGF0YX0KZGF0YV9zcGxpdCA8LSBkYXRhU3BsaXQoWCA9IFgsIHkgPSB5LCBzdHJhdGlmaWVkX2J5ID0geSwKICAgICAgICAgICAgICAgICAgICAgICAgdHJhaW5fcHJvcCA9IHBhcmFtcyR0cmFpbl9wcm9wLCAKICAgICAgICAgICAgICAgICAgICAgICAgdmFsaWRfcHJvcCA9IHBhcmFtcyR2YWxpZF9wcm9wLCAKICAgICAgICAgICAgICAgICAgICAgICAgdGVzdF9wcm9wID0gcGFyYW1zJHRlc3RfcHJvcCkKWHRyYWluIDwtIGRhdGFfc3BsaXQkWCR0cmFpbgpYdmFsaWQgPC0gZGF0YV9zcGxpdCRYJHZhbGlkYXRlClh0ZXN0IDwtIGRhdGFfc3BsaXQkWCR0ZXN0Cnl0cmFpbiA8LSBkYXRhX3NwbGl0JHkkdHJhaW4KeXZhbGlkIDwtIGRhdGFfc3BsaXQkeSR2YWxpZGF0ZQp5dGVzdCA8LSBkYXRhX3NwbGl0JHkkdGVzdApgYGAKClByb3ZpZGUgc3VtbWFyeSBzdGF0aXN0aWNzIGFuZC9vciBmaWd1cmVzIG9mIHRoZSB0aHJlZSBkYXRhIHNldHMgdG8gaWxsdXN0cmF0ZSBob3cgc2ltaWxhciAob3IgZGlmZmVyZW50KSB0aGV5IGFyZS4KCmBgYHthc2lzLCBoZWxwID0gVFJVRX0KVGhpcyBzdGVwIGlzIGltcG9ydGFudCBhcyBpdCBjYW4gaGlnaGxpZ2h0IGFueSBjb25jZXJucyB3aXRoIHlvdXIgY2hvc2VuIHNwbGl0dGluZyBydWxlLiBGb3IgaW5zdGFuY2UsIHVuZGVyIHRoZSBjbGFzc2lmaWNhdGlvbiBzZXR0aW5nLCB0aGUgZGlzdHJpYnV0aW9uIG9mIGNhdGVnb3JpZXMgc2hvdWxkIGJlIHNpbWlsYXIgYWNyb3NzIHRoZSB0aHJlZSBkYXRhIHNldHMuCmBgYAoKYGBge2FzaXMsIGludGVyYWN0aXZlX3RleHQgPSBUUlVFfQoKYGBgCgojIyMgRGF0YSBTcGxpdHRpbmcgT3ZlcnZpZXcgey50YWJzZXQgLmN1c3RvbS10YWJzfQoKIyMjIyBYIERhdGEgU3BsaXQgey51bm51bWJlcmVkfQoKYGBge3IgWC1kYXRhLXNwbGl0LCBhZGRfbmV3X2xpbmUgPSBUUlVFfQpwbG90RGF0YVNwbGl0KFh0cmFpbiwgWHZhbGlkLCBYdGVzdCwgCiAgICAgICAgICAgICAgeGxhYiA9ICJYIiwgdGl0bGUgPSAiT3ZlcmFsbCBYIERpc3RyaWJ1dGlvbiIpCmBgYAoKIyMjIyBZIERhdGEgU3BsaXQgey51bm51bWJlcmVkfQoKYGBge3IgeS1kYXRhLXNwbGl0LCBhZGRfbmV3X2xpbmUgPSBUUlVFfQpwbG90RGF0YVNwbGl0KHl0cmFpbiwgeXZhbGlkLCB5dGVzdCwgCiAgICAgICAgICAgICAgeGxhYiA9ICJ5IiwgdGl0bGUgPSAiT3ZlcmFsbCB5IERpc3RyaWJ1dGlvbiIpCmBgYAoKIyMgRGF0YSBDbGVhbmluZyBhbmQgUHJlcHJvY2Vzc2luZwoKV2hhdCBzdGVwcyB3ZXJlIHRha2VuIHRvIGNsZWFuIHRoZSBkYXRhPyBNb3JlIGltcG9ydGFudGx5LCB3aHkgd2FzIHRoZSBkYXRhIGNsZWFuZWQgaW4gdGhpcyB3YXk/CgpgYGB7YXNpcywgaGVscCA9IFRSVUV9CkRhdGEgY2xlYW5pbmcgY2FuIGJlIHZlcnkgcHJvYmxlbSBhbmQgZG9tYWluIGRlcGVuZGVudC4gQmUgc3VyZSB0byBzcGVjaWZ5IHdoaWNoIGFwcHJvYWNoZXMgYXJlIGNvbW1vbiBpbiB0aGUgZmllbGQgKGFuZCB3aHkpLiBXaGVyZSBhcHByb3ByaWF0ZSwgaGlnaGxpZ2h0IGFueSBzdGVwcyB0aGF0IHdlcmUganVkZ2VtZW50IGNhbGxzIG5lY2Vzc2FyeSB0byBjb250aW51ZSB0aGUgYW5hbHlzaXMuIApgYGAKCkRpc2N1c3MgYWxsIGluY29uc2lzdGVuY2llcywgcHJvYmxlbXMsIG9kZGl0aWVzIGluIHRoZSBkYXRhIChlLmcuLCBtaXNzaW5nIGRhdGEsIGVycm9ycyBpbiBkYXRhLCBvdXRsaWVycywgZXRjLikuCgpSZWNvcmQgeW91ciBwcmVwcm9jZXNzaW5nIHN0ZXBzIGluIGEgd2F5IHN1Y2ggdGhhdCBpZiBzb21lb25lIGVsc2Ugd2VyZSB0byByZXByb2R1Y2UgeW91ciBhbmFseXNpcywgdGhleSBjb3VsZCBlYXNpbHkgcmVwbGljYXRlIGFuZCB1bmRlcnN0YW5kIHlvdXIgc3RlcHMuCgpJdCBjYW4gYmUgaGVscGZ1bCB0byBpbmNsdWRlIHJlbGV2YW50IHBsb3RzIHRoYXQgZXhwbGFpbi9qdXN0aWZ5IHRoZSBjaG9pY2VzIHRoYXQgd2VyZSBtYWRlIHdoZW4gY2xlYW5pbmcgdGhlIGRhdGEuCgpJZiBtb3JlIHRoYW4gb25lIHByZXByb2Nlc3NpbmcgcGlwZWxpbmUgaXMgcmVhc29uYWJsZSwgZXhhbWluZSB0aGUgaW1wYWN0cyBvZiB0aGVzZSBhbHRlcm5hdGl2ZSBwcmVwcm9jZXNzaW5nIHBpcGVsaW5lcyBvbiB0aGUgZmluYWwgZGF0YSByZXN1bHRzLgoKYGBge2FzaXMsIGhlbHAgPSBUUlVFfQpUaGVyZSBhcmUgb2Z0ZW4gbXVsdGlwbGUsIHN0YW5kYXJkIHByZXByb2Nlc3Npbmcgb3B0aW9ucyB0aGF0IHNob3VsZCBiZSB0ZXN0ZWQgdG8gYXNzZXNzIHN0YWJpbGl0eSBvZiByZXN1bHRzLiBBbnkganVkZ2VtZW50IGNhbGxzIG1lbnRpb25lZCBhYm92ZSBzaG91bGQgYWxzbyBiZSBjb21wYXJlZCB3aXRoIGFsdGVybmF0aXZlIGNob2ljZXMgd2hlcmUgcG9zc2libGUuCmBgYAoKQWdhaW4sIGJlIGFzIHRyYW5zcGFyZW50IGFzIHBvc3NpYmxlLiBUaGlzIGFsbG93cyBvdGhlcnMgdG8gbWFrZSB0aGVpciBvd24gZWR1Y2F0ZWQgZGVjaXNpb25zIG9uIGhvdyBiZXN0IHRvIHByZXByb2Nlc3MgdGhlIGRhdGEuCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CkdpdmVuIHRoaXMgZXhhbXBsZSBUQ0dBIEJSQ0EgZGF0YSBzZXQsIHdlIGZpcnN0IHByZXByb2Nlc3MgdGhlIGRhdGEgYnkgcmVtb3ZpbmcgY29uc3RhbnQgb3IgZHVwbGljYXRlZCBjb2x1bW5zLiBUaGVuIHNpbmNlIHRoZSBhcnJheSBkYXRhIGlzIGhpZ2hseSByaWdodCBza2V3ZWQsIHdlIHdpbGwgbG9nLXRyYW5zZm9ybSAoaS5lLiwgbG9nKHggKyAxKSkgdGhlIGRhdGEuIEZpbmFsbHksIHRvIGtlZXAgdGhpcyBleGFtcGxlIHRlbXBsYXRlIHJlbGF0aXZlbHkgcXVpY2sgdG8gcnVuLCB3ZSB3aWxsIG9ubHkga2VlcCB0aGUgMTAwMCBmZWF0dXJlcyB3aXRoIHRoZSBoaWdoZXN0IHZhcmlhbmNlLgpgYGAKCmBgYHtyIHByZXByb2Nlc3MtZGF0YX0KIyMgRE8gREFUQSBDTEVBTklORyAvIFBSRS1QUk9DRVNTSU5HIEhFUkUgClh0cmFpbiA8LSBsb2coWHRyYWluICsgMSkgJT4lCiAgcmVtb3ZlQ29uc3RhbnRDb2xzKHZlcmJvc2UgPSAxKSAlPiUKICByZW1vdmVEdXBsaWNhdGVDb2xzKHZlcmJvc2UgPSAxKSAlPiUKICBmaWx0ZXJDb2xzQnlWYXIobWF4X3AgPSAxMDAwKQpYdmFsaWQgPC0gbG9nKFh2YWxpZCArIDEpWywgY29sbmFtZXMoWHRyYWluKV0KWHRlc3QgPC0gbG9nKFh0ZXN0ICsgMSlbLCBjb2xuYW1lcyhYdHJhaW4pXQpgYGAKCiMjIERhdGEgRXhwbG9yYXRpb24KClRoZSBtYWluIGdvYWwgb2YgdGhpcyBzZWN0aW9uIGlzIHRvIGdpdmUgdGhlIHJlYWRlciBhIGZlZWwgZm9yIHdoYXQgdGhlIGRhdGEgImxvb2tzIGxpa2UiIGF0IGEgYmFzaWMgbGV2ZWwuCgpQcm92aWRlIHBsb3RzIHRoYXQgc3VtbWFyaXplIHRoZSBkYXRhIGFuZCBwZXJoYXBzIGV2ZW4gcGxvdHMgdGhhdCBjb252ZXkgc29tZSBzbWFsbGVyIGZpbmRpbmdzIHdoaWNoIHVsdGltYXRlbHkgbW90aXZhdGUgdGhlIG1haW4gZmluZGluZ3MuCgpQcm92aWRlIGFkZGl0aW9uYWwgcGxvdHMgcmVwcmVzZW50aW5nIHJlbWFpbmluZyBvZGRpdGllcyBhZnRlciBwcmUtcHJvY2Vzc2luZyBpZiBhcHBsaWNhYmxlLgoKQWRkIHN1bW1hcnkgc3RhdGlzdGljcyBpbiBhY2NvbXBhbnlpbmcgdGFibGVzIChvciBpbiBmaWd1cmVzKSBmb3IgcXVpY2sgY29tcGFyaXNvbnMuCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCiMjIyBEYXRhIE92ZXJ2aWV3IHsudGFic2V0IC5jdXN0b20tdGFic30KCmBgYHtyIGRhdGEtZGltcywgZWNobyA9IEZBTFNFfQojIHN1bW1hcnkgb2YgZGF0YSBkaW1lbnNpb25zCmRhdGFEaW1lbnNpb25zKFh0cmFpbiA9IFh0cmFpbiwgWHZhbGlkID0gWHZhbGlkLCBYdGVzdCA9IFh0ZXN0KQpgYGAKCmBgYHtyIGRhdGEtdHlwZXMsIHJlc3VsdHM9ImFzaXMiLCBhZGRfbmV3X2xpbmUgPSBUUlVFfQojIHN1bW1hcnkgb2YgdHlwZXMgb2YgZmVhdHVyZXMgaW4gKFgsIHkpIGRhdGEKZGF0YVR5cGVzKFggPSBYdHJhaW4sIHkgPSB5dHJhaW4pCmBgYAoKIyMjIyBTdW1tYXJ5IFRhYmxlcyB7LnVubnVtYmVyZWR9CgpgYGB7ciBkYXRhLXN1bW1hcnktdGFibGUsIHJlc3VsdHM9ImFzaXMiLCBhZGRfbmV3X2xpbmUgPSBUUlVFfQojIGJyb2FkIGFycmF5IG9mIHN1bW1hcnkgc3RhdGlzdGljcyBmb3IgZmVhdHVyZXMgaW4gdHJhaW5pbmcgKFgsIHkpCnRhYl9scyA8LSBkYXRhU3VtbWFyeShYID0gWHRyYWluLCB5ID0geXRyYWluKQpmb3IgKGR0eXBlIGluIG5hbWVzKHRhYl9scykpIHsgICMgZ3JvdXBlZCBieSBkYXRhIHR5cGUKICBzdWJjaHVua2lmeSh0YWJfbHNbW2R0eXBlXV0sIGkgPSBkdHlwZSwgb3RoZXJfYXJncyA9ICJyZXN1bHRzPSdhc2lzJyIpCn0KYGBgCgojIyMjIFggRGlzdHJpYnV0aW9uIHsudW5udW1iZXJlZH0KCmBgYHtyIHgtZGlzdC1wbG90LCBhZGRfbmV3X2xpbmUgPSBUUlVFfQojIHBsb3QgWCBkaXN0cmlidXRpb24KcGxvdERhdGFEaXN0cmlidXRpb24oZGF0YSA9IFh0cmFpbiwgCiAgICAgICAgICAgICAgICAgICAgIHhsYWIgPSAiWCIsIHRpdGxlID0gIlRyYWluaW5nIFggRGlzdHJpYnV0aW9uIikKYGBgCgojIyMjIFkgRGlzdHJpYnV0aW9uIHsudW5udW1iZXJlZH0KCmBgYHtyIHktZGlzdC1wbG90LCBhZGRfbmV3X2xpbmUgPSBUUlVFfQojIHBsb3QgeSBkaXN0cmlidXRpb24KcGxvdERhdGFEaXN0cmlidXRpb24oZGF0YSA9IHl0cmFpbiwgCiAgICAgICAgICAgICAgICAgICAgIHhsYWIgPSAieSIsIHRpdGxlID0gIlRyYWluaW5nIHkgRGlzdHJpYnV0aW9uIikKYGBgCgojIyMjIERhdGEgSGVhdG1hcCB7LnVubnVtYmVyZWR9CgpgYGB7ciBkYXRhLWhlYXRtYXAsIGFkZF9uZXdfbGluZSA9IFRSVUV9CiMgKGNsdXN0ZXJlZCkgaGVhdG1hcCBvZiAoWCwgeSkgZGF0YQpwbG90RGF0YUhlYXRtYXAoWCA9IFh0cmFpbiwgeSA9IHl0cmFpbiwgY2x1c3Rfcm93cyA9IFRSVUUsIGNsdXN0X2NvbHMgPSBUUlVFLAogICAgICAgICAgICAgICAgc2hvd195dGV4dCA9IEZBTFNFLCB4X3RleHRfYW5nbGUgPSBUUlVFKQpgYGAKCiMjIyMgRmVhdHVyZSBDb3JyZWxhdGlvbiB7LnVubnVtYmVyZWR9CgpgYGB7ciBmZWF0dXJlLWNvci1oZWF0bWFwLCBhZGRfbmV3X2xpbmUgPSBUUlVFfQojIChjbHVzdGVyZWQpIGNvcnJlbGF0aW9uIGhlYXRtYXAKcGxvdENvckhlYXRtYXAoWCA9IFh0cmFpbiwgY29yX3R5cGUgPSAicGVhcnNvbiIsIGNsdXN0ID0gVFJVRSwKICAgICAgICAgICAgICAgeF90ZXh0X2FuZ2xlID0gVFJVRSkgKwogIGdncGxvdDI6OmxhYnMoeCA9ICJGZWF0dXJlcyIsIHkgPSAiRmVhdHVyZXMiLCBmaWxsID0gIkNvci4iKQpgYGAKCiMjIyMgRmVhdHVyZSBQYWlyIFBsb3RzIHsudW5udW1iZXJlZH0KCmBgYHtyIGZlYXR1cmUtcGFpci1wbG90LCBhZGRfbmV3X2xpbmUgPSBUUlVFfQojIGZlYXR1cmUgcGFpciBwbG90IChmb3IgYSBzdWJzZXQgb2YgZmVhdHVyZXMpCmtlZXBfZmVhdHVyZXMgPC0gc29ydCgKICBzYW1wbGUoMTpuY29sKFh0cmFpbiksIG1pbihuY29sKFh0cmFpbiksIDYpLCByZXBsYWNlID0gRkFMU0UpCikKcGxvdFBhaXJzKGRhdGEgPSBYdHJhaW4sIGNvbHVtbnMgPSBrZWVwX2ZlYXR1cmVzLCAKICAgICAgICAgIGNvbG9yID0geXRyYWluLCBjb2xvcl9sYWJlbCA9ICJ5IikKYGBgCgojIyMjIE1hcmdpbmFsIEFzc29jaWF0aW9ucyB7LnVubnVtYmVyZWR9CgpgYGB7ciBtYXJnaW5hbC1hc3NvYy1wbG90LCBhZGRfbmV3X2xpbmUgPSBUUlVFfQojIG1hcmdpbmFsIGFzc29jaWF0aW9uIHBsb3RzIChmb3IgYSBzdWJzZXQgb2YgZmVhdHVyZXMpCmNhcmV0OjpmZWF0dXJlUGxvdCh4ID0gWHRyYWluWywga2VlcF9mZWF0dXJlc10sCiAgICAgICAgICAgICAgICAgICB5ID0geXRyYWluLAogICAgICAgICAgICAgICAgICAgcGxvdCA9IGlmIChpcy5mYWN0b3IoeXRyYWluKSkgImJveCIgZWxzZSAic2NhdHRlciIsCiAgICAgICAgICAgICAgICAgICBzY2FsZXMgPSBsaXN0KHggPSBsaXN0KHJlbGF0aW9uID0gImZyZWUiKSwgCiAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIHkgPSBsaXN0KHJlbGF0aW9uID0gImZyZWUiKSkpCmBgYAoKIyMjIyBQQ0Egey51bm51bWJlcmVkfQoKYGBge3IgcGNhLXBsb3QsIGFkZF9uZXdfbGluZSA9IFRSVUV9CiMgcGNhIHBsb3QKcGxvdFBDQShYID0gWHRyYWluLCBucGNzID0gMywgY29sb3IgPSB5dHJhaW4sIGNvbG9yX2xhYmVsID0gInkiLAogICAgICAgIGNlbnRlciA9IFRSVUUsIHNjYWxlID0gRkFMU0UpJHBsb3QKYGBgCgojIFByZWRpY3Rpb24gTW9kZWxpbmcKCkRpc2N1c3MgdGhlIHByZWRpY3Rpb24gbWV0aG9kcyB1bmRlciBjb25zaWRlcmF0aW9uLCBhbmQgZXhwbGFpbiB3aHkgdGhlc2UgbWV0aG9kcyB3ZXJlIGNob3Nlbi4KCmBgYHthc2lzLCBoZWxwID0gVFJVRX0KVGhlcmUgYXJlIGFuIG92ZXJ3aGVsbWluZyBudW1iZXIgb2YgbWV0aG9kcyBhdmFpbGFibGUsIGJ1dCBhdCBsZWFzdCBvbmUgc2hvdWxkIGJlIGEgY29tbW9uIGFwcHJvYWNoIGFjdGluZyBhcyBhIGJhc2VsaW5lLiBUaGlzIG1heSBub3QgYmUgb3B0aW1hbCBmb3IgdGhlIHByb2JsZW0gc2V0dGluZywgYnV0IHNlcnZlcyBhcyBhIGhlbHBmdWwgY29tcGFyaXNvbi4gQW55ICJnby10byIgbWV0aG9kcyBpbiB0aGlzIHNjaWVudGlmaWMgZG9tYWluIHNob3VsZCBiZSBjb25zaWRlcmVkLiBEaXNjdXNzIHdoeSB0aGVzZSBhcmUgZmF2b3JlZCwgZm9yIGluc3RhbmNlLCBpcyB0aGVyZSBhIG5hdHVyYWwgc3RydWN0dXJlIGluIHRoZSBkYXRhIHRoYXQgaXMgYmV0dGVyIHV0aWxpemVkIGluIG9uZSBhcHByb2FjaCB2cyBhbm90aGVyPyBDb252ZXJzZWx5LCBtZW50aW9uIGlmIHRoZXJlIGFyZSBhcHByb2FjaGVzIHR5cGljYWxseSBhdm9pZGVkIGluIHRoZXNlIHByb2JsZW1zLiBUaGUgbGltaXRhdGlvbnMgZGlzY3Vzc2VkIHByZXZpb3VzbHkgY2FuIGFsc28gaGVscCBndWlkZSB0aGVzZSBkZWNpc2lvbnMgZ2l2ZW4gc29tZSBwcm9jZWR1cmVzIHdpbGwgYmUgYmV0dGVyIGVxdWlwcGVkIHRvIGhhbmRsZSB0aGVzZSBjb21wYXJlZCB0byBvdGhlcnMuCgpUaGluayBiYWNrIHRvIHRoZSBiaWcgcGljdHVyZSwgaWYgaW50ZXJwcmV0YWJpbGl0eSBpcyBpbXBvcnRhbnQsIG1ldGhvZHMgZmF2b3Jpbmcgc3BhcnNlciwgc2ltcGxlciBtb2RlbHMgbWF5IGJlIHByZWZlcnJlZCAoZS5nLiwgc3BhcnNlIHJlZ3Jlc3Npb24gb3IgdHJlZS1iYXNlZCBwcm9jZWR1cmVzKS4gSWYgcHJlZGljdGlvbiBpcyB0aGUgc29sZSBnb2FsLCBtb3JlIGNvbXBsZXggbW9kZWxzIG1heSBiZSBhcHByb3ByaWF0ZS4KCklmIGNvbXB1dGluZyB0aW1lIGlzIGEgYnVyZGVuLCBhbmQgcnVsZXMgb3V0IG1ldGhvZHMgd2l0aCBoaWdoIHBvdGVudGlhbCwgdGhpcyBzaG91bGQgYmUgaGlnaGxpZ2h0ZWQgZm9yIGZ1dHVyZSByZWZlcmVuY2UgYXMgc2NhbGFiaWxpdHkgYW5kL29yIGNvbXB1dGluZyByZXNvdXJjZXMgaW1wcm92ZS4KYGBgCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCkRpc2N1c3MgdGhlIGFjY3VyYWN5IG1ldHJpY3MgdW5kZXIgY29uc2lkZXJhdGlvbiwgYW5kIGV4cGxhaW4gd2h5IHRoZXNlIG1ldHJpY3Mgd2VyZSBjaG9zZW4uCgpgYGB7YXNpcywgaGVscCA9IFRSVUV9ClRoZXNlIGFjY3VyYWN5IG1ldHJpY3Mgc2hvdWxkIGNsZWFybHkgc3VwcG9ydCB0aGUgbWFpbiBnb2FsIG9mIHRoZSBzdHVkeS4gVGhlcmUgYXJlIG9mdGVuIG11bHRpcGxlIHdheXMgdG8gcXVhbnRpZnkgYWNjdXJhY3ksIGFuZCBkaWZmZXJlbnQgbWVhc3VyZW1lbnRzIG1heSBoYXZlIGJlZW4gdXNlZCBpbiBwcmV2aW91cyBzdHVkaWVzLCB0aHVzIGNvbXBhcmluZyBhY3Jvc3Mgc2V2ZXJhbCBwcm92aWRlcyBhbiBhZGRpdGlvbmFsIHN0YWJpbGl0eSBtZXRyaWMuCmBgYAoKYGBge2FzaXMsIGludGVyYWN0aXZlX3RleHQgPSBUUlVFfQoKYGBgCgojIyBQcmVkaWN0aW9uIGNoZWNrIHsudGFic2V0IC5jdXN0b20tdGFic30KCkNhcnJ5IG91dCB0aGUgcHJlZGljdGlvbiBwaXBlbGluZSwgb3V0bGluZWQgYWJvdmUuCgoxLiAgRml0IHByZWRpY3Rpb24gbWV0aG9kcyBvbiB0cmFpbmluZyBkYXRhLgoKYGBge2FzaXMsIGhlbHAgPSBUUlVFfQpSZWNhbGwsIHRoaXMgaW5jbHVkZXMgYW55IHBhcmFtZXRlciB0dW5pbmcgd2hpY2ggbWF5IHJlcXVpcmUgZnVydGhlciBkYXRhIHNwbGl0dGluZyAoZS5nLiwgay1mb2xkIGNyb3NzLXZhbGlkYXRpb24pICoqd2l0aGluIHRoZSB0cmFpbmluZyBkYXRhKiouCmBgYAoKMi4gIEV2YWx1YXRlIHByZWRpY3Rpb24gbWV0aG9kcyBvbiB2YWxpZGF0aW9uIGRhdGEuCjMuICBDb21wYXJlIHJlc3VsdHMsIGFuZCBmaWx0ZXIgb3V0IHBvb3IgbW9kZWxzLgoKYGBge2FzaXMsIGludGVyYWN0aXZlX3RleHQgPSBUUlVFfQoKYGBgCgpgYGB7ciBjYXJldC1maXQtcGFyYW1zLCBldmFsID0gcGFyYW1zJG1vZGVsaW5nX3BrZyA9PSAiY2FyZXQiLCBlY2hvID0gcGFyYW1zJG1vZGVsaW5nX3BrZyA9PSAiY2FyZXQiLCBjYWNoZSA9IEZBTFNFfQojIyBJRiBVU0lORyBDQVJFVCBNT0RFTElORyBCQUNLRU5ELCBDSE9PU0UgTUVUSE9EUyBBTkQgVFJBSU5JTkcgQ09OVFJPTFMgSEVSRQpjdl9vcHRpb25zIDwtIGxpc3QobmZvbGRzID0gNSwgCiAgICAgICAgICAgICAgICAgICBmb2xkaWRzID0gTlVMTCwKICAgICAgICAgICAgICAgICAgIG1ldHJpYyA9ICJBY2N1cmFjeSIpCgptb2RlbF9saXN0IDwtIGxpc3QoCiAgcmFuZ2VyID0gbGlzdCgudHVuZV9wYXJhbXMgPSBsaXN0KG10cnkgPSByb3VuZChzZXEoc3FydChuY29sKFh0cmFpbikpLCAKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICBuY29sKFh0cmFpbikgLyAzLAogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIGxlbmd0aC5vdXQgPSAzKSksCiAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIHNwbGl0cnVsZSA9ICJnaW5pIiwKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgbWluLm5vZGUuc2l6ZSA9IDEpLAogICAgICAgICAgICAgICAgaW1wb3J0YW5jZSA9ICJpbXB1cml0eSIsCiAgICAgICAgICAgICAgICBudW0udGhyZWFkcyA9IDEpLAogIHhnYlRyZWUgPSBsaXN0KG50aHJlYWQgPSAxKQopCmBgYAoKYGBge3IgaDJvLWZpdC1wYXJhbXMsIGV2YWwgPSBwYXJhbXMkbW9kZWxpbmdfcGtnID09ICJoMm8iLCBlY2hvID0gcGFyYW1zJG1vZGVsaW5nX3BrZyA9PSAiaDJvIiwgY2FjaGUgPSBGQUxTRX0KIyMgSUYgVVNJTkcgSDJPIE1PREVMSU5HIEJBQ0tFTkQsIENIT09TRSBNRVRIT0RTIEFORCBUUkFJTklORyBDT05UUk9MUyBIRVJFCmN2X29wdGlvbnMgPC0gbGlzdChuZm9sZHMgPSA1LAogICAgICAgICAgICAgICAgICAgZm9sZGlkcyA9IE5VTEwsCiAgICAgICAgICAgICAgICAgICBtZXRyaWMgPSAiYWNjdXJhY3kiKQoKbW9kZWxfbGlzdCA8LSBsaXN0KAogIHJhbmRvbUZvcmVzdCA9IGxpc3QoLnR1bmVfcGFyYW1zID0gbGlzdChtdHJpZXMgPSByb3VuZChzZXEoc3FydChuY29sKFh0cmFpbikpLAogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgbmNvbChYdHJhaW4pIC8gMywKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIGxlbmd0aC5vdXQgPSAzKSkpLAogICAgICAgICAgICAgICAgICAgICAgbnRyZWVzID0gNTAwKSwKICB4Z2Jvb3N0ID0gbGlzdCgpCikKCiMgaW5pdGlhbGl6ZSBoMm8gY2x1c3RlcgpoMm86Omgyby5pbml0KG50aHJlYWRzID0gLTEpCmBgYAoKYGBge3IgdGlkeW1vZGVscy1maXQtcGFyYW1zLCBldmFsID0gcGFyYW1zJG1vZGVsaW5nX3BrZyA9PSAidGlkeW1vZGVscyIsIGVjaG8gPSBwYXJhbXMkbW9kZWxpbmdfcGtnID09ICJ0aWR5bW9kZWxzIiwgY2FjaGUgPSBGQUxTRX0KIyMgSUYgVVNJTkcgVElEWU1PREVMUyBCQUNLRU5ELCBDSE9PU0UgTUVUSE9EUyBBTkQgVFJBSU5JTkcgQ09OVFJPTFMgSEVSRQpjdl9vcHRpb25zIDwtIGxpc3QobmZvbGRzID0gNSwKICAgICAgICAgICAgICAgICAgIGZvbGRpZHMgPSBOVUxMLAogICAgICAgICAgICAgICAgICAgbWV0cmljID0gImFjY3VyYWN5IikKCm1vZGVsX2xpc3QgPC0gbGlzdCgKICByYW5kX2ZvcmVzdCA9IGxpc3QoLnR1bmVfcGFyYW1zID0gbGlzdChtdHJ5ID0gcm91bmQoc2VxKHNxcnQobmNvbChYdHJhaW4pKSwKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIG5jb2woWHRyYWluKSAvIDMsCiAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICBsZW5ndGgub3V0ID0gMykpKSwKICAgICAgICAgICAgICAgICAgICAgZW5naW5lID0gbGlzdChlbmdpbmUgPSAicmFuZ2VyIiwKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICBpbXBvcnRhbmNlID0gImltcHVyaXR5IikpLAogIGJvb3N0X3RyZWUgPSBsaXN0KGVuZ2luZSA9ICJ4Z2Jvb3N0IikKKQpgYGAKCmBgYHtyIGZpdC1tb2RlbHN9CiMgZml0L3RyYWluIG1vZGVscwpmaXRfcmVzdWx0cyA8LSBmaXRNb2RlbHMoWHRyYWluID0gWHRyYWluLCB5dHJhaW4gPSB5dHJhaW4sCiAgICAgICAgICAgICAgICAgICAgICAgICBtb2RlbF9saXN0ID0gbW9kZWxfbGlzdCwgY3Zfb3B0aW9ucyA9IGN2X29wdGlvbnMsCiAgICAgICAgICAgICAgICAgICAgICAgICB1c2UgPSBwYXJhbXMkbW9kZWxpbmdfcGtnKQoKIyBtYWtlIHByZWRpY3Rpb24gb24gdmFsaWRhdGlvbiBzZXQKcHJlZF9yZXN1bHRzIDwtIHByZWRpY3RNb2RlbHMoZml0X2xpc3QgPSBmaXRfcmVzdWx0cywgWHRlc3QgPSBYdmFsaWQpCgojIGV2YWx1YXRlIHByZWRpY3Rpb25zIG9uIHZhbGlkYXRpb24gc2V0CmV2YWxfcmVzdWx0cyA8LSBldmFsdWF0ZU1vZGVscyhwcmVkX2RmID0gcHJlZF9yZXN1bHRzLCB5dGVzdCA9IHl2YWxpZCkKCiMgY29sbGVjdCBmZWF0dXJlIGltcG9ydGFuY2UgbWV0cmljcyBmcm9tIG1vZGVsIGZpdHMKaW1wX3Jlc3VsdHMgPC0gaW50ZXJwcmV0TW9kZWxzKGZpdF9saXN0ID0gZml0X3Jlc3VsdHMpCmBgYAoKIyMjIEZpdCBTdW1tYXJ5IHsudW5udW1iZXJlZCAudGFic2V0IC50YWJzZXQtcGlsbHN9CgpgYGB7ciBmaXQtc3VtbWFyeSwgZWNobyA9IEZBTFNFLCByZXN1bHRzID0gImFzaXMifQojIHByaW50IG91dCBmaXQgb3V0cHV0IHN1bW1hcnkKcHJpbnRGaXRSZXN1bHRzKGZpdF9yZXN1bHRzKQpgYGAKCiMjIyBQcmVkaWN0aW9uIFJlc3VsdHMgey51bm51bWJlcmVkfQoKYGBge3IgcHJlZGljdGlvbi1yZXN1bHRzLCBlY2hvID0gRkFMU0UsIHJlc3VsdHMgPSAiYXNpcyJ9CiMgZGlzcGxheSBwcmVkaWN0aW9uIG1ldHJpY3MsIGNvbmZ1c2lvbiBtYXRyaWNlcywgYW5kIHJvYy9wciBwbG90cyBpZiBhcHBsaWNhYmxlCnNob3dFdmFsUmVzdWx0cyhldmFsX3Jlc3VsdHMsIGRpZ2l0cyA9IDIsIHNpZ2ZpZyA9IEZBTFNFLAogICAgICAgICAgICAgICAgaHRtbF9vcHRpb25zID0gbGlzdCgKICAgICAgICAgICAgICAgICAgb3B0aW9ucyA9IGxpc3QoZG9tID0gInQiLCBwYWdlTGVuZ3RoID0gbnJvdyhldmFsX3Jlc3VsdHMpKQogICAgICAgICAgICAgICAgKSkKYGBgCgojIyBTdGFiaWxpdHkgY2hlY2sgey50YWJzZXQgLmN1c3RvbS10YWJzfQoKVGFraW5nIHRoZSBwcmVkaWN0aW9uIG1ldGhvZHMgdGhhdCBwYXNzIHRoZSBwcmVkaWN0aW9uIGNoZWNrLCBwZXJmb3JtIHN0YWJpbGl0eSBhbmFseXNpcy4KCmBgYHthc2lzLCBoZWxwID0gVFJVRX0KVGhpcyBzdGFiaWxpdHkgYW5hbHlzaXMgYXNzZXNzZXMgY2hhbmdlcyBpbiB2YWxpZGF0aW9uIGFjY3VyYWN5IGJhc2VkIG9uIHNtYWxsIHBlcnR1cmJhdGlvbnMgaW4gdGhlIHRyYWluaW5nIGRhdGEuIFRoZSAicGVydHVyYmVkIGRhdGEgc2V0cyIgbWVudGlvbmVkIGJlbG93IHJlZmVyIHRvIHRoZSAqKnRyYWluaW5nIGRhdGEgb25seSoqLCB2YWxpZGF0aW9uIGFuZCB0ZXN0IHNldHMgcmVtYWluIHRoZSBzYW1lLgpgYGAKCjEuICBTcGVjaWZ5IGFuZCBqdXN0aWZ5IHRoZSBhcHByb3ByaWF0ZSBkYXRhIHBlcnR1cmJhdGlvbihzKS4KCmBgYHthc2lzLCBoZWxwID0gVFJVRX0KQXMgd2hlbiBkZXRlcm1pbmluZyBhbiBhcHByb3ByaWF0ZSBzcGxpdHRpbmcgcnVsZSwgdGhlIHBlcnR1cmJhdGlvbiBzY2hlbWUgc2hvdWxkIGluY29ycG9yYXRlIGFueSBrbm93biBkYXRhIHN0cnVjdHVyZS4gRm9yIGluc3RhbmNlLCBpZiB1c2luZyBhIGJvb3RzdHJhcCBhcHByb2FjaCAoaS5lLiwgdGhlIGRhdGEgYXJlIHJlLXNhbXBsZWQgd2l0aCByZXBsYWNlbWVudCksIHN0cmF0aWZpZWQgc2FtcGxpbmcgbWF5IGJlIG1vcmUgYXBwcm9wcmlhdGUgdG8gYXZvaWQgdW5iYWxhbmNlZCBncm91cHMuCmBgYAoKMi4gIFJlLWZpdCB0aGUgcHJlZGljdGlvbiBtZXRob2RzIG9uIHRoZXNlIHBlcnR1cmJlZCBkYXRhIHNldHMuCjMuICBFdmFsdWF0ZSBwcmVkaWN0aW9uIG1ldGhvZHMgb24gdmFsaWRhdGlvbiBkYXRhLgo0LiAgQXNzZXNzIHN0YWJpbGl0eSBhY3Jvc3MgdGhlIGRhdGEgcGVydHVyYmF0aW9ucyBhcyB3ZWxsIGFzIGFjcm9zcyB0aGUgdmFyaW91cyBtZXRob2RzLgo1LiAgRmlsdGVyIG91dCBwb29yIG1vZGVscyB3aGVyZSBuZWNlc3NhcnkgYW5kIGludGVycHJldCBzdGFiaWxpdHkgcmVzdWx0cy4KCmBgYHthc2lzLCBoZWxwID0gVFJVRX0KTWV0aG9kcyB3aXRoIGhpZ2hseSB2YXJpYWJsZSBhY2N1cmFjeSBzaG91bGQgYmUgZGlzY2FyZGVkLiBJbiBhZGRpdGlvbiwgdGFrZSBub3RlIGlmIGFueSBzZXQgb2YgcGVydHVyYmF0aW9ucyByZXN1bHRlZCBpbiB1bmlmb3JtbHkgcG9vciBhY2N1cmFjeSBhY3Jvc3MgbWV0aG9kcy4gVGhpcyBjb3VsZCBpbmRpY2F0ZSBhbiB1bmRlcmx5aW5nIGlzc3VlIHdpdGggdGhlIHBlcnR1cmJhdGlvbiBhcHByb2FjaC4KYGBgCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAKCmBgYHtyIHN0YWJpbGl0eS1jaGVja30Kbl9yZXBzIDwtIHBhcmFtcyRuX2RhdGFfcGVydHVyYmF0aW9ucwoKIyBwIDwtIHByb2dyZXNzcjo6cHJvZ3Jlc3NvcihzdGVwcyA9IG5fcmVwcykKIyBmdXR1cmU6OnBsYW4obXVsdGlzZXNzaW9uLCB3b3JrZXJzID0gbWluKG5fcmVwcywgcGFyYWxsZWw6OmRldGVjdENvcmVzKCkgLSAxKSkKYm9vdHN0cmFwX21vZGVsX3Jlc3VsdHMgPC0gZnV0dXJlLmFwcGx5OjpmdXR1cmVfcmVwbGljYXRlKAogIG4gPSBuX3JlcHMsCiAgZXhwciA9IHsKICAgIGJvb3RzdHJhcCA8LSBzYW1wbGUoMTpucm93KFh0cmFpbiksIG5yb3coWHRyYWluKSwgcmVwbGFjZSA9IFRSVUUpCiAgICBYdHJhaW5fYiA8LSBYdHJhaW5bYm9vdHN0cmFwLCBdCiAgICB5dHJhaW5fYiA8LSB5dHJhaW5bYm9vdHN0cmFwXQogICAgCiAgICAjIGZpdC90cmFpbiBtb2RlbHMgb24gYm9vdHN0cmFwIGRhdGEKICAgIGZpdF9yZXN1bHRzX2IgPC0gZml0TW9kZWxzKFh0cmFpbiA9IFh0cmFpbl9iLCB5dHJhaW4gPSB5dHJhaW5fYiwKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIG1vZGVsX2xpc3QgPSBtb2RlbF9saXN0LCBjdl9vcHRpb25zID0gY3Zfb3B0aW9ucywKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIHVzZSA9IHBhcmFtcyRtb2RlbGluZ19wa2cpCgogICAgIyBtYWtlIHByZWRpY3Rpb24gb24gdmFsaWRhdGlvbiBzZXQKICAgIHByZWRfcmVzdWx0c19iIDwtIHByZWRpY3RNb2RlbHMoZml0X2xpc3QgPSBmaXRfcmVzdWx0c19iLCBYdGVzdCA9IFh2YWxpZCkKCiAgICAjIGV2YWx1YXRlIHByZWRpY3Rpb25zIG9uIHZhbGlkYXRpb24gc2V0CiAgICBldmFsX3Jlc3VsdHNfYiA8LSBldmFsdWF0ZU1vZGVscyhwcmVkX2RmID0gcHJlZF9yZXN1bHRzX2IsIHl0ZXN0ID0geXZhbGlkKQogICAgCiAgICAjIGNvbGxlY3QgZmVhdHVyZSBpbXBvcnRhbmNlIG1ldHJpY3MgZnJvbSBtb2RlbCBmaXRzCiAgICBpbXBfcmVzdWx0c19iIDwtIGludGVycHJldE1vZGVscyhmaXRfbGlzdCA9IGZpdF9yZXN1bHRzX2IpCiAgICAKICAgIHJldHVybihsaXN0KCMgZml0ID0gZml0X3Jlc3VsdHNfYiwgICMgdW5jb21tZW50IGlmIG5lZWQgYm9vdHN0cmFwIGZpdHM7IGNhbiBiZSBtZW1vcnkgaW50ZW5zaXZlCiAgICAgICAgICAgICAgICBwcmVkaWN0aW9ucyA9IHByZWRfcmVzdWx0c19iLAogICAgICAgICAgICAgICAgZXZhbF9tZXRyaWNzID0gZXZhbF9yZXN1bHRzX2IsCiAgICAgICAgICAgICAgICBpbXBvcnRhbmNlcyA9IGltcF9yZXN1bHRzX2IpKQogIH0sCiAgc2ltcGxpZnkgPSBGQUxTRQopCgpib290c3RyYXBfbW9kZWxfZXJycyA8LSBwdXJycjo6bWFwX2Rmcihib290c3RyYXBfbW9kZWxfcmVzdWx0cywKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgfi54JGV2YWxfbWV0cmljcyRtZXRyaWNzLAogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAuaWQgPSAiYm9vdHN0cmFwX2lkIikKYm9vdHN0cmFwX21vZGVsX3ByZWRzIDwtIHB1cnJyOjptYXAoYm9vdHN0cmFwX21vZGVsX3Jlc3VsdHMsICJwcmVkaWN0aW9ucyIpCmJvb3RzdHJhcF9tb2RlbF9pbXBzIDwtIHB1cnJyOjptYXBfZGZyKGJvb3RzdHJhcF9tb2RlbF9yZXN1bHRzLCAiaW1wb3J0YW5jZXMiLAogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAuaWQgPSAiYm9vdHN0cmFwX2lkIikKCiMgc3VtbWFyaXplIGJvb3RzdHJhcCBtb2RlbCBlcnJvciBtZXRyaWNzCmJvb3RzdHJhcF9tb2RlbF9lcnJzX3N1bW1hcnkgPC0gYm9vdHN0cmFwX21vZGVsX2VycnMgJT4lCiAgdGlkeXI6OnBpdm90X2xvbmdlcihjb2xzID0gYygtYm9vdHN0cmFwX2lkLCAtTWV0cmljKSwgCiAgICAgICAgICAgICAgICAgICAgICBuYW1lc190byA9ICJNZXRob2QiLCB2YWx1ZXNfdG8gPSAiVmFsdWUiKSAlPiUKICBkcGx5cjo6Z3JvdXBfYnkoTWV0aG9kLCBNZXRyaWMpICU+JQogIGRwbHlyOjpzdW1tYXJpc2UoTWVhbiA9IG1lYW4oVmFsdWUpLCBTRCA9IHNkKFZhbHVlKSwgLmdyb3VwcyA9ICJkcm9wIikgJT4lCiAgdGlkeXI6OnBpdm90X2xvbmdlcihjb2xzID0gYyhNZWFuLCBTRCksIAogICAgICAgICAgICAgICAgICAgICAgdmFsdWVzX3RvID0gIlZhbHVlIiwgbmFtZXNfdG8gPSAiU3RhdGlzdGljIikgJT4lCiAgdGlkeXI6OnBpdm90X3dpZGVyKG5hbWVzX2Zyb20gPSAiTWV0aG9kIiwgdmFsdWVzX2Zyb20gPSAiVmFsdWUiKSAlPiUKICBkcGx5cjo6YXJyYW5nZShNZXRyaWMsIFN0YXRpc3RpYykKYGBgCgojIyMgVGFibGUgey51bm51bWJlcmVkfQoKYGBge3Igc3RhYmlsaXR5LWNoZWNrLXRhYmxlLCByZXN1bHRzID0gImFzaXMifQojIHRhYmxlIG9mIGFjY3VyYWN5IG1ldHJpY3MKcHJldHR5VGFibGUoCiAgYm9vdHN0cmFwX21vZGVsX2VycnNfc3VtbWFyeSwgCiAgZGlnaXRzID0gMiwgc2lnZmlnID0gRkFMU0UsIHJvd25hbWVzID0gRkFMU0UsCiAgY2FwdGlvbiA9ICJWYWxpZGF0aW9uIFByZWRpY3Rpb24gQWNjdXJhY2llcyBPdmVyIEJvb3RzdHJhcHBlZCBUcmFpbmluZyBGaXRzIiwgCiAgaHRtbF9vcHRpb25zID0gbGlzdCgKICAgIGV4dGVuc2lvbnMgPSAiUm93R3JvdXAiLAogICAgb3B0aW9ucyA9IGxpc3QoCiAgICAgIGRvbSA9ICJ0IiwKICAgICAgcGFnZUxlbmd0aCA9IG5yb3coYm9vdHN0cmFwX21vZGVsX2VycnNfc3VtbWFyeSksCiAgICAgIHNjcm9sbFkgPSAiNTAwcHgiLAogICAgICByb3dHcm91cCA9IGxpc3QoZGF0YVNyYyA9IDApLAogICAgICBjb2x1bW5EZWZzID0gbGlzdChsaXN0KGNsYXNzTmFtZSA9ICJkdC1jZW50ZXIiLCB0YXJnZXRzID0gIl9hbGwiKSwKICAgICAgICAgICAgICAgICAgICAgICAgbGlzdCh2aXNpYmxlID0gRkFMU0UsIHRhcmdldHMgPSAwKSwKICAgICAgICAgICAgICAgICAgICAgICAgbGlzdCh0aXRsZSA9ICJNZXRyaWMiLCB0YXJnZXRzID0gMSkpCiAgICApCiAgKQopCmBgYAoKIyMjIFBsb3Qgey51bm51bWJlcmVkfQoKYGBge3Igc3RhYmlsaXR5LWNoZWNrLWJveHBsb3R9CiMgYm94cGxvdHMKYm9vdHN0cmFwX21vZGVsX2VycnMgJT4lCiAgdGlkeXI6OnBpdm90X2xvbmdlcihjb2xzID0gYygtYm9vdHN0cmFwX2lkLCAtTWV0cmljKSwgCiAgICAgICAgICAgICAgICAgICAgICBuYW1lc190byA9ICJNZXRob2QiLCB2YWx1ZXNfdG8gPSAiVmFsdWUiKSAlPiUKICBwbG90Qm94cGxvdCh4X3N0ciA9ICJNZXRob2QiLCB5X3N0ciA9ICJWYWx1ZSIpICsKICBnZ3Bsb3QyOjpmYWNldF93cmFwKH4gTWV0cmljKSArCiAgZ2dwbG90Mjo6bGFicyh0aXRsZSA9ICJWYWxpZGF0aW9uIFByZWRpY3Rpb24gQWNjdXJhY2llcyBPdmVyIEJvb3RzdHJhcHBlZCBUcmFpbmluZyBGaXRzIikKYGBgCgojIyBJbnRlcnByZXRhYmlsaXR5IHsudGFic2V0IC5jdXN0b20tdGFic30KCkZvciB0aGUgbW9kZWxzIHRoYXQgcGFzcyB0aGUgcHJlZGljdGlvbiBhbmQgc3RhYmlsaXR5IGNoZWNrcywgZXh0cmFjdCB0aGUgaW1wb3J0YW50IGZlYXR1cmVzIGluIHRoZSBwcmVkaWN0aXZlIG1vZGVscyB0aGF0IGFyZSBzdGFibGUgYWNyb3NzIGJvdGggZGF0YSBhbmQgbW9kZWwgcGVydHVyYmF0aW9ucy4gRGV0ZXJtaW5pbmcgdGhlIGltcG9ydGFuY2Ugb2YgYSBmZWF0dXJlIGNhbiBiZSBtZXRob2QgZGVwZW5kZW50LgoKYGBge2FzaXMsIGludGVyYWN0aXZlX3RleHQgPSBUUlVFfQoKYGBgCgojIyMgRnVsbCBNb2RlbCAod2l0aG91dCBzdGFiaWxpdHkpIHsudW5udW1iZXJlZCAudGFic2V0IC50YWJzZXQtcGlsbHN9CgojIyMjIFRhYmxlIHsudW5udW1iZXJlZH0KCmBgYHtyIGludGVycHJldGFiaWxpdHktdGFibGUsIGFkZF9uZXdfbGluZSA9IFRSVUUsIHJlc3VsdHMgPSAiYXNpcyJ9CnByZXR0eVRhYmxlKGltcF9yZXN1bHRzLCBkaWdpdHMgPSAyLCBzaWdmaWcgPSBGQUxTRSwKICAgICAgICAgICAgY2FwdGlvbiA9ICJWYXJpYWJsZSBJbXBvcnRhbmNlcyIpCmBgYAoKIyMjIyBQbG90cyB7LnVubnVtYmVyZWR9CgpgYGB7ciBpbnRlcnByZXRhYmlsaXR5LXBsb3QsIGFkZF9uZXdfbGluZSA9IFRSVUV9CnBsb3RGZWF0dXJlSW1wb3J0YW5jZShpbXBfcmVzdWx0cywKICAgICAgICAgICAgICAgICAgICAgIHVzZV9yYW5raW5ncyA9IEZBTFNFLAogICAgICAgICAgICAgICAgICAgICAgdXNlX2ZhY2V0cyA9IFRSVUUsCiAgICAgICAgICAgICAgICAgICAgICBpbnRlcmFjdGl2ZSA9IEZBTFNFKQpgYGAKCmBgYHtyIGludGVycHJldGFiaWxpdHktcGFpci1wbG90LCBhZGRfbmV3X2xpbmUgPSBUUlVFfQpwbG90RmVhdHVyZUltcG9ydGFuY2VQYWlyKGltcF9yZXN1bHRzLAogICAgICAgICAgICAgICAgICAgICAgICAgIHVzZV9yYW5raW5ncyA9IFRSVUUsCiAgICAgICAgICAgICAgICAgICAgICAgICAgaW50ZXJhY3RpdmUgPSBGQUxTRSkKYGBgCgojIyMgQm9vdHN0cmFwcGVkIE1vZGVsICh3aXRoIHN0YWJpbGl0eSkgey51bm51bWJlcmVkIC50YWJzZXQgLnRhYnNldC1waWxsc30KCiMjIyMgVGFibGUgey51bm51bWJlcmVkfQoKYGBge3IgYm9vdC1pbnRlcnByZXRhYmlsaXR5LXRhYmxlLCBhZGRfbmV3X2xpbmUgPSBUUlVFLCByZXN1bHRzID0gImFzaXMifQpib290c3RyYXBfbW9kZWxfaW1wc19zdW1tYXJ5IDwtIGJvb3RzdHJhcF9tb2RlbF9pbXBzICU+JQogIGRwbHlyOjpncm91cF9ieShNZXRob2QsIFZhcmlhYmxlKSAlPiUKICBkcGx5cjo6c3VtbWFyaXNlKGBNZWFuIEltcG9ydGFuY2VgID0gbWVhbihJbXBvcnRhbmNlKSwKICAgICAgICAgICAgICAgICAgIGBNZWRpYW4gSW1wb3J0YW5jZWAgPSBtZWRpYW4oSW1wb3J0YW5jZSksCiAgICAgICAgICAgICAgICAgICBgU0QgSW1wb3J0YW5jZWAgPSBzZChJbXBvcnRhbmNlKSwKICAgICAgICAgICAgICAgICAgIGBNaW4gSW1wb3J0YW5jZWAgPSBtaW4oSW1wb3J0YW5jZSksCiAgICAgICAgICAgICAgICAgICBgTWF4IEltcG9ydGFuY2VgID0gbWF4KEltcG9ydGFuY2UpLCAKICAgICAgICAgICAgICAgICAgIC5ncm91cHMgPSAia2VlcCIpCnByZXR0eVRhYmxlKAogIGJvb3RzdHJhcF9tb2RlbF9pbXBzX3N1bW1hcnksIAogIGRpZ2l0cyA9IDIsIHNpZ2ZpZyA9IEYsIAogIGNhcHRpb24gPSAiU3VtbWFyeSBvZiB2YXJpYWJsZSBpbXBvcnRhbmNlcyBhY3Jvc3MgYm9vdHN0cmFwcGVkIG1vZGVscyIKKQpgYGAKCiMjIyMgUGxvdHMgey51bm51bWJlcmVkfQoKYGBge3IgYm9vdC1pbnRlcnByZXRhYmlsaXR5LXBsb3QsIGFkZF9uZXdfbGluZSA9IFRSVUV9CnBsb3RGZWF0dXJlSW1wb3J0YW5jZVN0YWJpbGl0eShib290c3RyYXBfbW9kZWxfaW1wcywKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIHVzZV9yYW5raW5ncyA9IEZBTFNFLAogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgdXNlX2ZhY2V0cyA9IFRSVUUsCiAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICBpbnRlcmFjdGl2ZSA9IEZBTFNFKQpgYGAKCiMgTWFpbiBSZXN1bHRzCgojIyAgey51bm51bWJlcmVkIC50YWJzZXQgLmN1c3RvbS10YWJzfQoKSW50ZXJwcmV0IGFuZCBzdW1tYXJpemUgdGhlIHByZWRpY3Rpb24gYW5kIHN0YWJpbGl0eSByZXN1bHRzLgoKYGBge2FzaXMsIGludGVyYWN0aXZlX3RleHQgPSBUUlVFfQoKYGBgCgpFdmFsdWF0ZSBwaXBlbGluZSBvbiB0ZXN0IGRhdGEuCgpgYGB7YXNpcywgaGVscCA9IFRSVUV9CkNhcmVmdWwhIFJlbWVtYmVyIHRoYXQgKip0ZXN0IGRhdGEgc2hvdWxkIG9ubHkgYmUgdG91Y2hlZCBvbmNlKiouIFRoZXNlIHJlc3VsdHMgc2hvdWxkIG5vdCBiZSB1c2VkIHRvIG1ha2UgcG9zdC1hbmFseXNpcyBtb2RlbGluZyBkZWNpc2lvbnMuIFRoaXMgaXMgImRvdWJsZS1kaXBwaW5nIiBhbmQgbm90IGFuIGFjY3VyYXRlIG1lYXN1cmVtZW50IG9mIG91dC1vZi1zYW1wbGUgYWNjdXJhY3kuCmBgYAoKYGBge3IgZmluYWwtZml0c30KWHRyYWluX2ZpbmFsIDwtIGRwbHlyOjpiaW5kX3Jvd3MoWHRyYWluLCBYdmFsaWQpCnl0cmFpbl9maW5hbCA8LSBjKHl0cmFpbiwgeXZhbGlkKQoKIyBmaXQvdHJhaW4gbW9kZWxzCmZpdF9yZXN1bHRzX2ZpbmFsIDwtIGZpdE1vZGVscyhYdHJhaW4gPSBYdHJhaW5fZmluYWwsIHl0cmFpbiA9IHl0cmFpbl9maW5hbCwKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIG1vZGVsX2xpc3QgPSBtb2RlbF9saXN0LCBjdl9vcHRpb25zID0gY3Zfb3B0aW9ucywKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIHVzZSA9IHBhcmFtcyRtb2RlbGluZ19wa2cpCgojIG1ha2UgcHJlZGljdGlvbiBvbiB0ZXN0IHNldApwcmVkX3Jlc3VsdHNfZmluYWwgPC0gcHJlZGljdE1vZGVscyhmaXRfbGlzdCA9IGZpdF9yZXN1bHRzX2ZpbmFsLCBYdGVzdCA9IFh0ZXN0KQoKIyBldmFsdWF0ZSBwcmVkaWN0aW9ucyBvbiB0ZXN0IHNldApldmFsX3Jlc3VsdHNfZmluYWwgPC0gZXZhbHVhdGVNb2RlbHMocHJlZF9kZiA9IHByZWRfcmVzdWx0c19maW5hbCwgeXRlc3QgPSB5dGVzdCkKCiMgY29sbGVjdCBmZWF0dXJlIGltcG9ydGFuY2UgbWV0cmljcyBmcm9tIG1vZGVsIGZpdHMKaW1wX3Jlc3VsdHNfZmluYWwgPC0gaW50ZXJwcmV0TW9kZWxzKGZpdF9saXN0ID0gZml0X3Jlc3VsdHNfZmluYWwpCmBgYAoKU3VtbWFyaXplIHRlc3Qgc2V0IHByZWRpY3Rpb24gYW5kL29yIGludGVycHJldGFiaWxpdHkgcmVzdWx0cy4KCmBgYHthc2lzLCBpbnRlcmFjdGl2ZV90ZXh0ID0gVFJVRX0KCmBgYAoKIyMjIEZpdCBTdW1tYXJ5IHsudW5udW1iZXJlZCAudGFic2V0IC50YWJzZXQtcGlsbHN9CgpgYGB7ciBmaW5hbC1maXQtc3VtbWFyeSwgZWNobyA9IEZBTFNFLCByZXN1bHRzID0gImFzaXMifQojIHByaW50IG91dCBmaXQgb3V0cHV0IHN1bW1hcnkKcHJpbnRGaXRSZXN1bHRzKGZpdF9yZXN1bHRzX2ZpbmFsKQpgYGAKCiMjIyBQcmVkaWN0aW9uIFJlc3VsdHMgey51bm51bWJlcmVkfQoKYGBge3IgZmluYWwtcHJlZGljdGlvbi1yZXN1bHRzLCBlY2hvID0gRkFMU0UsIHJlc3VsdHMgPSAiYXNpcyJ9CiMgZGlzcGxheSBwcmVkaWN0aW9uIG1ldHJpY3MsIGNvbmZ1c2lvbiBtYXRyaWNlcywgYW5kIHJvYy9wciBwbG90cyBpZiBhcHBsaWNhYmxlCnNob3dFdmFsUmVzdWx0cyhldmFsX3Jlc3VsdHNfZmluYWwsIHRlc3Rfc2V0ID0gVFJVRSwgZGlnaXRzID0gMiwgc2lnZmlnID0gRkFMU0UsCiAgICAgICAgICAgICAgICBodG1sX29wdGlvbnMgPSBsaXN0KAogICAgICAgICAgICAgICAgICBvcHRpb25zID0gbGlzdChkb20gPSAidCIsIAogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICBwYWdlTGVuZ3RoID0gbnJvdyhldmFsX3Jlc3VsdHNfZmluYWwpKQogICAgICAgICAgICAgICAgKSkKYGBgCgojIFBvc3QgaG9jIGFuYWx5c2lzCgpNb3ZlIGJleW9uZCB0aGUgZ2xvYmFsIHByZWRpY3Rpb24gYWNjdXJhY3kgbWV0cmljcyBhbmQgZGl2ZSBkZWVwZXIgaW50byBpbmRpdmlkdWFsLWxldmVsIHByZWRpY3Rpb25zIGZvciB0aGUgdmFsaWRhdGlvbiBhbmQvb3IgdGVzdCBzZXQsIGkuZS4sIHByb3ZpZGUgYSBtb3JlICJsb2NhbCIgYW5hbHlzaXMuCgotICAgRXhhbWluZSBhbnkgcG9pbnRzIHRoYXQgaGFkIHBvb3IgcHJlZGljdGlvbnMuCgpgYGB7YXNpcywgaGVscCA9IFRSVUV9CkFzIG1lbnRpb25lZCBpbiB0aGUgc3RhYmlsaXR5IGFuYWx5c2lzLCBjaGVjayBmb3IgYW55IGNvbW1vbmFsaXRpZXMgYW1vbmcgcGVydHVyYmF0aW9ucywgb3Igc3BlY2lmaWMgb2JzZXJ2YXRpb25zLCB0aGF0IHJlc3VsdGVkIGluIHBvb3IgYWNjdXJhY3kgbWV0cmljcyBhY3Jvc3MgcHJvY2VkdXJlcy4KYGBgCgotICAgRXhhbWluZSBkaWZmZXJlbmNlcyBiZXR3ZWVuIHByZWRpY3Rpb24gbWV0aG9kcy4KCmBgYHthc2lzLCBoZWxwID0gVFJVRX0KQXJlIHRoZXJlIGNlcnRhaW4gbWV0aG9kcyB0aGF0IG1heSBub3QgYmUgb3ZlcmFsbCB0aGUgbW9zdCBhY2N1cmF0ZSwgYnV0IG91dHBlcmZvcm0gb3RoZXJzIG9uIHRoZSBtb3JlICJjaGFsbGVuZ2luZyIgdmFsaWRhdGlvbi90ZXN0IG9ic2VydmF0aW9ucz8gQ29udmVyc2VseSwgYXJlIHNvbWUgcHJvY2VkdXJlcyB2ZXJ5IGVmZmVjdGl2ZSBhY3Jvc3MgdGhlIG1ham9yaXR5IG9mIG9ic2VydmF0aW9ucywgYnV0IHNvbWUgb3V0bHlpbmcgYmVoYXZpb3IgZWZmZWN0cyBvdmVyYWxsIHJlc3VsdHM/CmBgYAoKYGBge2FzaXMsIGludGVyYWN0aXZlX3RleHQgPSBUUlVFfQoKYGBgCgpgYGB7ciBwb3N0aG9jLXBhaXItcGxvdH0KcHJlZF9yZXN1bHRzX2ZpbmFsICU+JQogIGRwbHlyOjptdXRhdGUoLmlkID0gcmVwKDE6bnJvdyhYdGVzdCksIGxlbmd0aC5vdXQgPSBkcGx5cjo6bigpKSkgJT4lCiAgdGlkeXI6OnBpdm90X3dpZGVyKGlkX2NvbHMgPSAuaWQsIAogICAgICAgICAgICAgICAgICAgICBuYW1lc19mcm9tID0gIk1ldGhvZCIsIHZhbHVlc19mcm9tID0gInByZWRpY3Rpb25zIikgJT4lCiAgZHBseXI6Om11dGF0ZShgVHJ1ZSBSZXNwb25zZXNgID0geXRlc3QpICU+JQogIHBsb3RQYWlycyhjb2x1bW5zID0gMjoobGVuZ3RoKHVuaXF1ZShwcmVkX3Jlc3VsdHNfZmluYWwkTWV0aG9kKSkgKyAyKSwKICAgICAgICAgICAgdGl0bGUgPSAiQ29tcGFyaXNvbiBvZiBtb2RlbCB0ZXN0IHByZWRpY3Rpb25zIikKYGBgCgojIENvbmNsdXNpb25zCgpSZWl0ZXJhdGUgbWFpbiBmaW5kaW5ncywgbm90ZSBhbnkgY2F2ZWF0cywgYW5kIGNsZWFybHkgdHJhbnNsYXRlIGZpbmRpbmdzL2FuYWx5c2lzIGJhY2sgdG8gdGhlIGRvbWFpbiBwcm9ibGVtIGNvbnRleHQuCgpgYGB7YXNpcywgaW50ZXJhY3RpdmVfdGV4dCA9IFRSVUV9CgpgYGAK